Teoria Hebbowska - Hebbian theory

Teoria Hebbowska jest teorią neuronaukową twierdzącą, że wzrost skuteczności synaptycznej wynika z powtarzanej i uporczywej stymulacji komórki postsynaptycznej przez komórkę presynaptyczną . Jest to próba wyjaśnienia plastyczności synaptycznej , czyli adaptacji neuronów mózgowych podczas procesu uczenia się. Został wprowadzony przez Donalda Hebba w jego książce z 1949 r. Organizacja zachowania . Teoria ta nazywana jest także regułę Hebba , postulat Hebba i teorii montażu komórka . Hebb stwierdza to w następujący sposób:

Załóżmy, że utrzymywanie się lub powtarzanie aktywności pogłosowej (lub „śladu”) ma tendencję do wywoływania trwałych zmian komórkowych, które zwiększają jego stabilność. ... Gdy akson z komórek A jest wystarczająco blisko do pobudzenia komórek B i wielokrotnie lub uporczywie uczestniczy w wypalania go jakiś proces wzrostu lub zmiany metaboliczne odbywa się w jednym lub obu komórki takie, że A wydajność „s, jako jeden z komórki strzelające B , są zwiększone.

Teoria ta jest często podsumowywana jako „Komórki, które razem strzelają, łączą się ze sobą”. Jednak Hebb podkreślić, że komórka A musi „wziąć udział w firing” komórka B i może nastąpić tylko wtedy, gdy takie przyczynowość komórka A pożary tuż przed, a nie w tym samym czasie co komórki B . Ten aspekt przyczynowości w pracach Hebba był zapowiedzią tego, co obecnie wiadomo o plastyczności zależnej od impulsów czasowych, która wymaga pierwszeństwa czasowego.

Teoria ta próbuje wyjaśnić uczenie asocjacyjne lub Hebbowskie , w którym jednoczesna aktywacja komórek prowadzi do wyraźnego wzrostu siły synaptycznej między tymi komórkami. Zapewnia również biologiczną podstawę dla bezbłędnych metod uczenia się w edukacji i rehabilitacji pamięci. W badaniu sieci neuronowych w funkcjach poznawczych często uważa się je za neuronalną podstawę uczenia się nienadzorowanego .

Hebbowskie engramy i teoria składania komórek

Teoria Hebbowska dotyczy tego, jak neurony mogą się łączyć, aby stać się engramami . Teorie Hebba dotyczące formy i funkcji zespołów komórkowych można zrozumieć z następujących:

Ogólna idea jest stara, że ​​dowolne dwie komórki lub systemy komórek, które są wielokrotnie aktywne w tym samym czasie, będą miały tendencję do „powiązania”, tak że aktywność jednej ułatwia aktywność drugiej.

Hebb napisał również:

Kiedy jedna komórka wielokrotnie pomaga w odpalaniu drugiej, akson pierwszej komórki rozwija guzki synaptyczne (lub powiększa je, jeśli już istnieją) w kontakcie z somą drugiej komórki.

[D. Alan Allport] przedstawia dodatkowe idee dotyczące teorii składania komórek i jej roli w tworzeniu engramów, zgodnie z koncepcją autoasocjacji, opisaną w następujący sposób:

Jeśli dane wejściowe do systemu powodują powtarzanie się tego samego wzorca aktywności, zestaw aktywnych elementów tworzących ten wzorzec będzie coraz silniej powiązany ze sobą. Oznacza to, że każdy element będzie miał tendencję do włączania każdego innego elementu i (z ujemnymi wagami) wyłączania elementów, które nie stanowią części wzorca. Innymi słowy, wzorzec jako całość stanie się „skojarzony automatycznie”. Engramem możemy nazwać wyuczony (autoskojarzony) wzorzec.

Praca w laboratorium Erica Kandela dostarczyła dowodów na udział hebbijskich mechanizmów uczenia się w synapsach ślimaka morskiego Aplysia californica . Eksperymenty nad mechanizmami modyfikacji synaps Hebba w synapsach ośrodkowego układu nerwowego kręgowców są znacznie trudniejsze do kontrolowania niż eksperymenty ze stosunkowo prostymi synapsami obwodowego układu nerwowego badanymi u bezkręgowców morskich. Wiele prac dotyczących długotrwałych zmian synaptycznych między neuronami kręgowców (takich jak długotrwałe wzmocnienie ) obejmuje zastosowanie niefizjologicznej eksperymentalnej stymulacji komórek mózgowych. Jednak niektóre z fizjologicznie istotnych mechanizmów modyfikacji synaps, które badano w mózgach kręgowców, wydają się być przykładami procesów Hebbowskich. Jedno z takich badań zawiera przegląd wyników eksperymentów, które wskazują, że długotrwałe zmiany w sile synaptycznej mogą być indukowane przez fizjologicznie istotną aktywność synaptyczną działającą zarówno poprzez mechanizmy hebbowskie, jak i niehebbowskie.

Zasady

Z punktu widzenia sztucznych neuronów i sztucznych sieci neuronowych zasadę Hebba można opisać jako metodę określania sposobu zmiany wag między modelowymi neuronami. Waga między dwoma neuronami wzrasta, gdy dwa neurony aktywują się jednocześnie, a zmniejsza się, gdy aktywują się osobno. Węzły, które mają tendencję do bycia zarówno dodatnimi, jak i obydwoma ujemnymi w tym samym czasie, mają silne dodatnie wagi, podczas gdy te, które wydają się być przeciwne, mają silne ujemne wagi.

Poniżej znajduje się schematyczny opis nauki Hebba: (możliwych jest wiele innych opisów)

${\ Displaystyle \, w_ {ij} = x_ {i} x_ {j}}$

gdzie jest waga połączenia od neuronu do neuronu i wejście dla neuronu . Zauważ, że jest to nauka wzorców (wagi aktualizowane po każdym przykładzie treningu). W sieci Hopfield połączenia są ustawione na zero, jeśli (nie są dozwolone połączenia zwrotne). W przypadku neuronów binarnych (aktywacje 0 lub 1) połączenia zostaną ustawione na 1, jeśli połączone neurony mają taką samą aktywację dla wzorca. ${\displaystyle w_{ij}}$${\displaystyle j}$${\displaystyle i}$${\displaystyle x_{i}}$${\displaystyle i}$${\displaystyle w_{ij}}$${\displaystyle i=j}$

Gdy stosuje się kilka wzorców treningowych, wyrażenie staje się średnią z poszczególnych:

${\ Displaystyle w_ {ij} = {\ Frac {1} {p}} \ suma _ {k = 1} ^ {p} x_ {i} ^ {k} x_ {j} ^ {k} = < x_ { i}x_{j}>,\,}$

gdzie jest masa związku z neuronu do neuronu , to liczba wzorcach, p wejście do neuronu i <> oznacza średnią z wszystkich wzorcach. Jest to uczenie się według epoki (wagi aktualizowane po przedstawieniu wszystkich przykładów uczących), będące ostatnim terminem mającym zastosowanie zarówno do dyskretnych, jak i ciągłych zestawów uczących. Ponownie, w sieci Hopfield, połączenia są ustawione na zero, jeśli (brak połączeń zwrotnych). ${\displaystyle w_{ij}}$${\displaystyle j}$${\displaystyle i}$${\displaystyle p}$${\ Displaystyle x_ {i} ^ {k}}$${\displaystyle k}$${\displaystyle i}$${\displaystyle w_{ij}}$${\displaystyle i=j}$

Odmianą uczenia się Hebba, która uwzględnia zjawiska takie jak blokowanie i wiele innych zjawisk uczenia neuronowego, jest model matematyczny Harry'ego Klopfa . Model Klopfa odtwarza wiele zjawisk biologicznych, a także jest prosty do wdrożenia.

Związek z uczeniem się nienadzorowanym, stabilnością i uogólnianiem

Ze względu na prostą naturę uczenia Hebbowskiego, opartego jedynie na zbieżności aktywności pre- i postsynaptycznej, może nie być intuicyjnie jasne, dlaczego ta forma plastyczności prowadzi do sensownego uczenia się. Można jednak wykazać, że plastyczność Hebbowska odbiera statystyczne właściwości danych wejściowych w sposób, który można zaklasyfikować jako uczenie nienadzorowane.

Można to matematycznie przedstawić w uproszczonym przykładzie. Pracujmy przy upraszczającym założeniu pojedynczego neuronu rate-based rate , którego wejścia mają rate . Odpowiedź neuronu jest zwykle opisana jako liniowa kombinacja jego wejścia , po której następuje funkcja odpowiedzi : ${\ Displaystyle y (t)}$${\ Displaystyle x_ {1} (t) ... x_ {N} (t)}$${\ Displaystyle y (t)}$${\ Displaystyle \ suma _ {i} w_ {i} x_ {i}}$ ${\displaystyle f()}$

${\ Displaystyle y = f \ lewo (\ suma _ {i = 1} ^ {N} w_ {i} x_ {i} \ prawej).}$

Jak zdefiniowano w poprzednich rozdziałach, plastyczność Hebba opisuje ewolucję w czasie masy synaptycznej : ${\ Displaystyle w}$

${\ Displaystyle {\ Frac {dw_ {i}} {dt}} = \ eta x_ {i} r}$

Zakładając dla uproszczenia funkcję odpowiedzi tożsamości , możemy napisać ${\ Displaystyle f (a) = a}$

${\ Displaystyle {\ Frac {dw_ {i}} {dt}} = \ eta x_ {i} \ suma _ {j = 1} ^ {N} w_ {j} x_ {j}}$

lub w postaci matrycy :

${\ Displaystyle {\ Frac {d \ mathbf {w}} {dt}} = \ eta \ mathbf {x} \ mathbf {x} ^ {T} \ mathbf {w}}.$

Podobnie jak w poprzednim rozdziale, jeśli odbywa się trening według epoki, można wykonać średni zbiór treningów dyskretnych lub ciągłych (w czasie) :${\displaystyle <.>}$${\displaystyle \mathbf {x}}$

gdzie jest macierz korelacji danych wejściowych przy dodatkowym założeniu, że (tj. średnia danych wejściowych wynosi zero). Jest to układ sprzężonych liniowych równań różniczkowych. Ponieważ jest symetryczny , jest również diagonalizowalny , a rozwiązanie można znaleźć, pracując w jego bazie wektorów własnych, aby mieć postać ${\ Displaystyle C = \ langle \ \ mathbf {x} \ mathbf {x} ^ {T} \ rangle}$${\ Displaystyle \ langle \ mathbf {x} \ rangle = 0}$${\ Displaystyle N}$${\displaystyle C}$

${\ Displaystyle \ mathbf {w} (t) = k_ {1} e ^ {\ eta \ alfa _ {1} t} \ mathbf {c} _ {1} + k_ {2} e ^ {\ eta \ alfa _{2}t}\mathbf {c} _{2}+...+k_{N}e^{\eta \alpha _{N}t}\mathbf {c} _{N}}$

gdzie są arbitralne stałe, są wektorami własnymi i odpowiadającymi im wartościami własnymi. Ponieważ macierz korelacji jest zawsze macierzą

dodatnio określoną , wszystkie wartości własne są dodatnie i można łatwo zauważyć, że powyższe rozwiązanie jest zawsze wykładniczo rozbieżne w czasie. Jest to wewnętrzny problem, ponieważ ta wersja reguły Hebba jest niestabilna, ponieważ w każdej sieci z dominującym sygnałem wagi synaptyczne będą wzrastać lub maleć wykładniczo. Intuicyjnie dzieje się tak, ponieważ za każdym razem, gdy neuron presynaptyczny pobudza neuron postsynaptyczny, waga między nimi jest wzmacniana, powodując jeszcze silniejsze pobudzenie w przyszłości i tak dalej, w sposób samowzmacniający. Można by pomyśleć, że rozwiązaniem jest ograniczenie szybkości odpalania neuronu postsynaptycznego przez dodanie nieliniowej, nasycającej funkcji odpowiedzi , ale w rzeczywistości można wykazać, że dla dowolnego modelu neuronu reguła Hebba jest niestabilna. Dlatego modele sieciowe neuronów zazwyczaj wykorzystują inne teorie uczenia się, takie jak teoria BCM , reguła Oji lub uogólniony algorytm Hebbiana . ${\displaystyle k_{i}}$${\ Displaystyle \ mathbf {c} _ {i}}$${\displaystyle C}$${\ Displaystyle \ alfa _ {i}}$${\displaystyle f}$

Niezależnie od powyższego, nawet dla niestabilnego rozwiązania powyżej, można zauważyć, że po upływie wystarczającego czasu jeden z terminów dominuje nad innymi i

${\ Displaystyle \ mathbf {W} (t) \ ok e ^ {\ eta \ alfa ^ {*} t} \ mathbf {c} ^ {*}}$

gdzie jest

największa wartość własna . W tym czasie neuron postsynaptyczny wykonuje następującą operację: ${\ Displaystyle \ alfa ^ {*}}$${\displaystyle C}$

${\ Displaystyle y \ ok e ^ {\ eta \ alfa ^ {*} t} \ mathbf {c} ^ {*} \ mathbf {x}}$

Ponieważ znowu wektor własny odpowiada największej wartości własnej macierzy korelacji między s, odpowiada to dokładnie obliczeniu pierwszego

głównego składnika danych wejściowych. ${\ Displaystyle \ mathbf {c} ^ {*}}$${\displaystyle x_{i}}$

Mechanizm ten można rozszerzyć na wykonanie pełnego PCA (analiza głównych składowych) danych wejściowych poprzez dodanie kolejnych neuronów postsynaptycznych, pod warunkiem, że wszystkie neurony postsynaptyczne nie będą pobierać tego samego głównego składnika, na przykład poprzez dodanie hamowania bocznego w warstwie postsynaptycznej. W ten sposób połączyliśmy uczenie Hebbowskie z PCA, które jest podstawową formą uczenia nienadzorowanego, w tym sensie, że sieć może wychwycić użyteczne statystyczne aspekty danych wejściowych i „opisać” je w wydestylowany sposób w swoich wynikach.

Ograniczenia

Pomimo powszechnego stosowania modeli Hebbowskich do długoterminowego wzmacniania, zasada Hebba nie obejmuje wszystkich form długoterminowej plastyczności synaptycznej. Hebb nie postulował żadnych reguł dla hamujących synaps, ani nie przewidział dla anty-przyczynowych sekwencji kolców (neurony presynaptyczne wystrzeliwują po neuronie postsynaptycznym). Modyfikacja synaps może zachodzić nie tylko pomiędzy aktywowanymi neuronami A i B, ale także w sąsiednich synapsach. Wszystkie formy

plastyczności heterosynaptycznej i homeostatycznej są zatem uważane za niehebbowskie. Przykładem jest sygnalizacja wsteczna do zacisków presynaptycznych. Związkiem najczęściej identyfikowanym jako spełniający tę rolę przekaźnika wstecznego jest tlenek azotu , który ze względu na swoją wysoką rozpuszczalność i dyfuzyjność często wywiera wpływ na pobliskie neurony. Ten typ rozproszonej modyfikacji synaptycznej, znany jako uczenie się objętości, nie jest uwzględniony w tradycyjnym modelu Hebbowskim.

Hebbowskie podejście do uczenia się neuronów lustrzanych

Uczenie Hebbowskie i plastyczność zależna od synchronizacji impulsów zostały wykorzystane we wpływowej teorii powstawania neuronów lustrzanych . Neurony lustrzane to neurony, które aktywują się zarówno wtedy, gdy dana osoba wykonuje czynność, jak i gdy dana osoba widzi lub słyszy, jak ktoś inny wykonuje podobną czynność. Odkrycie tych neuronów miało duży wpływ na wyjaśnienie, w jaki sposób jednostki rozumieją działania innych, pokazując, że kiedy osoba postrzega działania innych, aktywuje programy motoryczne, których używa do wykonywania podobnych działań. Aktywacja tych programów motorycznych następnie dodaje informacje do percepcji i pomaga przewidzieć, co dana osoba zrobi dalej w oparciu o własny program motoryczny osoby postrzegającej. Wyzwaniem było wyjaśnienie, w jaki sposób u poszczególnych osób neurony reagują zarówno podczas wykonywania czynności, jak i słyszenia lub widzenia, jak ktoś inny wykonuje podobne czynności.

Christian Keysers i David Perrett zasugerowali, że gdy osoba wykonuje określone działanie, widzi, słyszy i czuje wykonywanie tego działania. Te ponownie aferentne sygnały czuciowe wywołają aktywność neuronów reagujących na widok, dźwięk i odczucie akcji. Ponieważ aktywność tych neuronów czuciowych będzie konsekwentnie pokrywać się w czasie z aktywnością neuronów ruchowych, które spowodowały działanie, uczenie Hebbowskie przewiduje, że synapsy łączące neurony reagujące na wzrok, dźwięk i odczuwanie działania oraz neurony wyzwalające działanie powinno być wzmocnione. To samo dotyczy sytuacji, gdy ludzie patrzą na siebie w lustrze, słyszą swój bełkot lub są naśladowani przez innych. Po wielokrotnym doświadczeniu tego ponownego odniesienia, synapsy łączące czuciowe i motoryczne reprezentacje działania są tak silne, że neurony ruchowe zaczynają odpalać dźwięk lub wizję działania i powstaje neuron lustrzany.

Dowody na tę perspektywę pochodzą z wielu eksperymentów, które pokazują, że programy ruchowe mogą być wyzwalane przez nowe bodźce słuchowe lub wzrokowe po wielokrotnym parowaniu bodźca z wykonaniem programu ruchowego (przegląd dowodów, patrz Giudice i in., 2009). ). Na przykład ludzie, którzy nigdy nie grali na pianinie, nie aktywują obszarów mózgu zaangażowanych w grę na pianinie podczas słuchania muzyki fortepianowej. Udowodniono, że pięć godzin lekcji gry na fortepianie, podczas których uczestnik jest wystawiony na dźwięk fortepianu za każdym razem, gdy naciśnie klawisz, jest wystarczającym powodem do wywołania aktywności w obszarach motorycznych mózgu podczas słuchania muzyki fortepianowej słyszanej później. Zgodnie z faktem, że plastyczność zależna od synchronizacji impulsów występuje tylko wtedy, gdy odpalenie neuronu presynaptycznego przewiduje odpalenie neuronu postsynaptycznego, związek między bodźcami czuciowymi a programami motorycznymi wydaje się być wzmocniony tylko wtedy, gdy bodziec jest zależny od programu motorycznego.

Zobacz też

Bibliografia

Dalsza lektura

• Hebb, DO (1961). „Charakterystyczne cechy uczenia się w wyższym zwierzęciu”. W JF Delafresnaye (red.). Mechanizmy mózgowe i uczenie się . Londyn: Oxford University Press.
• Hebb, DO (1940). „Zachowanie ludzkie po rozległym obustronnym usunięciu z płatów czołowych”. Archiwum Neurologii i Psychiatrii . 44 (2): 421-438. doi : 10.1001/archneurpsyc.1940.02280080181011 .
• Biskup CM (1995). Sieci neuronowe do rozpoznawania wzorców . Oksford: Oxford University Press. Numer ISBN 978-0-19-853849-3.
• Paulsen, O.; Sejnowski, TJ (2000). „Naturalne wzorce aktywności i długotrwała plastyczność synaptyczna” . Aktualna opinia w neurobiologii . 10 (2): 172–179. doi : 10.1016/S0959-4388(00)00076-3 . PMC  2900254 . PMID  10753798 .

Zewnętrzne linki

• Przegląd
• Samouczek Hebbiana Learning ( Część 1: Filtrowanie nowości , Część 2: PCA )