Stephen Grossberg - Stephen Grossberg
Stephen Grossberg | |
|---|---|
 Grossberg w lipcu 2016 r.
| |
| Urodzić się |
31 grudnia 1939
Nowy Jork , Nowy Jork
|
Stephen Grossberg (ur. 31 grudnia 1939) jest kognitywistą , psychologiem teoretycznym i obliczeniowym , neurologiem , matematykiem , inżynierem biomedycznym i neuromorfikiem. Jest profesorem Wanga systemów poznawczych i neuronowych oraz emerytowanym profesorem matematyki i statystyki, psychologii i nauk o mózgu oraz inżynierii biomedycznej na Uniwersytecie w Bostonie .
Kariera zawodowa
Wczesne życie i edukacja
Grossberg po raz pierwszy mieszkał w Woodside, Queens , w Nowym Jorku . Jego ojciec zmarł na chłoniaka Hodgkina, gdy miał rok. Przeprowadził się z matką i starszym bratem Mitchellem do Jackson Heights w Queens. Następnie uczęszcza do szkoły średniej Stuyvesant na dolnym Manhattanie po zdaniu konkurencyjnego egzaminu wstępnego. Ukończył jako pierwszy w swojej klasie w Stuyvesant w 1957 roku.
Rozpoczął studia licencjackie w Dartmouth College w 1957 roku, gdzie po raz pierwszy wymyślił paradygmat wykorzystania nieliniowych równań różniczkowych do opisu sieci neuronowych, które modelują dynamikę mózgu, a także podstawowych równań, których wielu naukowców używa obecnie w tym celu. Następnie kontynuował naukę zarówno psychologii, jak i neuronauki. Otrzymał licencjat w 1961 roku w Dartmouth jako pierwszy wspólny kierunek z matematyki i psychologii .
Grossberg następnie udał się na Uniwersytet Stanforda , który ukończył w 1964 roku z tytułem magistra matematyki i przeniósł się do The Rockefeller Institute for Medical Research (obecnie The Rockefeller University ) na Manhattanie. Grossberg otrzymał doktorat z matematyki od Rockefellera w 1967 za tezę, która udowodniła pierwsze globalne twierdzenia dotyczące pamięci adresowalnej treści na temat modeli uczenia neuronowego, które odkrył w Dartmouth. Jego promotorem pracy doktorskiej był Gian-Carlo Rota .
Wejście na akademię
Grossberg został zatrudniony jako adiunkt matematyki stosowanej na MIT zgodnie z silnymi rekomendacjami Kaca i Roty. W 1969 Grossberg został awansowany na profesora nadzwyczajnego po opublikowaniu strumienia wyników pojęciowych i matematycznych dotyczących wielu aspektów sieci neuronowych.
Po tym, jak nie otrzymał etatu na MIT, Grossberg został zatrudniony jako profesor zwyczajny na Uniwersytecie w Bostonie w 1975 roku, gdzie nadal pracuje na wydziale. Podczas pobytu na Uniwersytecie Bostońskim założył Zakład Systemów Poznawczych i Neuronowych, kilka interdyscyplinarnych ośrodków badawczych oraz różne instytucje międzynarodowe.
Badania
Grossberg jest założycielem dziedzin neuronauki obliczeniowej , koneksjonistycznej kognitywistyki i technologii neuromorficznej. Jego praca koncentruje się na zasadach i mechanizmach projektowania, które umożliwiają zachowanie jednostek lub maszyn autonomiczne dostosowywanie się w czasie rzeczywistym do nieoczekiwanych wyzwań środowiskowych. Badania te obejmowały neuronowe modele widzenia i przetwarzania obrazu ; uczenie się obiektów, scen i zdarzeń, rozpoznawanie wzorców i wyszukiwanie; przesłuchanie, mowa i język; przetwarzanie i planowanie informacji poznawczych; uczenie się wzmacniające i interakcje poznawczo-emocjonalne; autonomiczna nawigacja; adaptacyjne sterowanie sensoryczno-motoryczne i robotyka ; neurodynamika samoorganizująca się ; i zaburzenia psychiczne . Grossberg współpracuje również z eksperymentatorami przy projektowaniu eksperymentów, które testują przewidywania teoretyczne i wypełniają istotne koncepcyjnie luki w literaturze eksperymentalnej, przeprowadza analizy dynamiki matematycznej systemów neuronowych i przenosi biologiczne modele neuronowe do zastosowań w inżynierii i technologii. Opublikował siedemnaście książek lub numerów specjalnych czasopism, ponad 500 artykułów naukowych i siedem patentów.
Grossberg badał jak mózgi powodują umysłach ponieważ wziął wprowadzający kurs psychologii jako student pierwszego roku w Dartmouth College w roku 1957. W tym czasie wprowadzono Grossberg paradygmat wykorzystania układów nieliniowych z równań różniczkowych , aby pokazać w jaki sposób mechanizmy mózgu może prowadzić do zachowań Funkcje. Ten paradygmat pomaga rozwiązać klasyczny problem umysł/ciało i jest podstawowym formalizmem matematycznym używanym obecnie w badaniach biologicznych sieci neuronowych. W szczególności, w latach 1957-1958, n odkrył powszechnie stosowane równania dla (1) pamięci krótkotrwałej (STM) lub aktywacji neuronów (często nazywane modelami addytywnymi i przetaczającymi lub modelem Hopfielda po zastosowaniu modelu addytywnego przez Johna Hopfielda w 1984 roku). równanie); (2) pamięć średnioterminowa (MTM) lub przyzwyczajenie zależne od aktywności (często nazywane habituacyjnymi bramkami transmisyjnymi lub przygnębiającymi synapsami po wprowadzeniu tego terminu przez Larry'ego Abbotta w 1997 r.); oraz (3) pamięć długotrwała (LTM) lub uczenie neuronowe (często nazywane uczeniem bramkowanym ze stromym zniżaniem). Jeden wariant tych równań uczenia, zwany Instar Learning, został wprowadzony przez Grossberga w 1976 roku do adaptacyjnej teorii rezonansu i map samoorganizujących się w celu uczenia się filtrów adaptacyjnych w tych modelach. To równanie uczenia było również używane przez Kohonena w jego zastosowaniach map samoorganizujących się od 1984 roku. Inny wariant tych równań uczenia się, zwany Outstar Learning, był używany przez Grossberga od 1967 roku do uczenia się wzorców przestrzennych. Nauka Outstar i Instar została połączona przez Grossberga w 1976 roku w trójwarstwowej sieci do nauki wielowymiarowych map z dowolnej m-wymiarowej przestrzeni wejściowej do dowolnej n-wymiarowej przestrzeni wyjściowej. Ta aplikacja została nazwana kontrpropagacją przez Hecht-Nielsen w 1987 roku.
Opierając się na swojej pracy doktorskiej Rockefellera z 1964 roku, w latach 60. i 70. Grossberg uogólnił modele addytywne i bocznikowe do klasy układów dynamicznych, które obejmowały te modele, a także nieneuronowe modele biologiczne, i udowodnił twierdzenia dotyczące pamięci adresowalnej treści dla tego bardziej ogólnego klasa modeli. W ramach tej analizy wprowadził metodę funkcjonalną Lapunowa, która pomaga klasyfikować ograniczającą i oscylacyjną dynamikę konkurencyjnych systemów poprzez śledzenie, która populacja wygrywa w czasie. Ta metoda Liapunowa doprowadziła go i Michaela Cohena do odkrycia w 1981 r. i opublikowania w 1982 r. i 1983 r. funkcji Liapunowa, której użyli do udowodnienia, że globalne ograniczenia istnieją w klasie układów dynamicznych o symetrycznych współczynnikach interakcji, która obejmuje modele addytywne i manewrowe. John Hopfield opublikował tę funkcję Liapunowa dla modelu addytywnego w 1984 roku. Większość naukowców zaczęła nazywać wkład Hopfielda modelem Hopfielda. W 1987 roku Bart Kosko zaadaptował model Cohena-Grossberga i funkcję Liapunowa, które dowiodły globalnej zbieżności STM, aby zdefiniować adaptacyjną dwukierunkową pamięć asocjacyjną, która łączy STM i LTM, a także globalnie zbliża się do granic.
Grossberg wprowadził i rozwinął wraz z kolegami podstawowe koncepcje, mechanizmy, modele i architektury w szerokim spektrum tematów dotyczących mózgu i zachowania. Współpracował z ponad 100 doktorantami i stypendystami habilitacyjnymi.
Modele, które Grossberg wprowadził i pomógł opracować, obejmują:
- podstawy badań sieci neuronowych: uczenie konkurencyjne , mapy samoorganizujące się , instars i pola maskujące (do klasyfikacji), outstars (do uczenia się wzorców przestrzennych), lawiny (do uczenia się i wydajności szeregowego porządku), dipole bramkowane (do przetwarzania przeciwnika) ;
- rozwój percepcyjny i poznawczy, poznanie społeczne, pamięć robocza, poznawcze przetwarzanie informacji, planowanie, szacowanie numeryczne i uwaga: Adaptacyjna Teoria Rezonansu (ART), ARTMAP, STORE, CORT-X, SpaN, LIST PARSE, listELOS, SMART, CRIB;
- percepcja wzrokowa, uwaga, uczenie się obiektów i scen, rozpoznawanie, predykcyjne mapowanie i wyszukiwanie: BCS/FCS, FACADE, 3D LAMINART, aFILM, LIGHTSHAFT, Motion BCS, 3D FORMOTION, MODE, VIEWNET, dARTEX, ARTSCAN, pARTSCAN, dARTSCAN, 3D ARTSCAN, ARTSCAN Szukaj, ARTSCENE, ARTSCENE Szukaj;
- strumieniowanie słuchowe, percepcja, mowa i przetwarzanie języka: SPINET, ARTSTREAM, NormNet, PHONET, ARTPHONE, ARTWORD;
- dynamika poznawczo-emocjonalna, uczenie się ze wzmocnieniem, zmotywowana uwaga i zachowanie adaptacyjne w czasie: CogEM, START, MOTYWATOR; taktowanie widmowe;
- nawigacja wizualna i przestrzenna: SOVEREIGN, STARS, ViSTARS, GRIDSmap, GridPlaceMap, Spectral Spacing;
- adaptacyjna czuciowo-motoryczna kontrola ruchów oczu, ramion i nóg: VITE, FLETE, VITEWRITE, DIRECT, VAM, CPG, SACCART, TELOS, SAC-SPEM;
- autyzm: iSTART
Kariera i rozwój infrastruktury
Biorąc pod uwagę, że istniała niewielka lub żadna infrastruktura wspierająca dziedziny, w których rozwijał się on i inni pionierzy modelowania, Grossberg założył kilka instytucji mających na celu zapewnienie interdyscyplinarnych szkoleń, badań i publikacji w dziedzinie neuronauki obliczeniowej, koneksjonistycznej kognitywistyki i technologii neuromorficznej . W 1981 roku założył Centrum Systemów Adaptacyjnych na Uniwersytecie w Bostonie i pozostaje jego dyrektorem. W 1991 roku założył Department of Cognitive and Neural Systems na Uniwersytecie w Bostonie i pełnił funkcję jego przewodniczącego do 2007 roku. do 2009 roku.
Wszystkie te instytucje miały na celu udzielenie odpowiedzi na dwa powiązane ze sobą pytania: i) W jaki sposób mózg kontroluje zachowanie? ii) Jak technologia może naśladować inteligencję biologiczną?
Ponadto Grossberg założył i był pierwszym prezesem Międzynarodowego Towarzystwa Sieci Neuronowych (INNS), które w ciągu czternastu miesięcy jego prezydentury rozrosło się do 3700 członków z 49 stanów Stanów Zjednoczonych i 38 krajów. Powstanie INNS wkrótce doprowadziło do powstania Europejskiego Towarzystwa Sieci Neuronowych (ENNS) i Japońskiego Towarzystwa Sieci Neuronowych (JNNS). Grossberg założył również oficjalne czasopismo INNS, a w latach 1988 - 2010 był jego redaktorem naczelnym. Neural Networks jest także czasopismem archiwalnym ENNS i JNNS.
Seria wykładów Grossberga w MIT Lincoln Laboratory zapoczątkowała krajowe badanie sieci neuronowych DARPA w latach 1987-88, co doprowadziło do zwiększonego zainteresowania rządu badaniami sieci neuronowych. W 1987 r. był przewodniczącym generalnym pierwszej Międzynarodowej Konferencji Sieci Neuronowych (ICNN) IEEE i odegrał kluczową rolę w zorganizowaniu pierwszego dorocznego spotkania INNS w 1988 r., którego połączenie w 1989 r. doprowadziło do powstania Międzynarodowej Wspólnej Konferencji na temat Sieci Neuronowych (IJCNN), które pozostaje największym dorocznym spotkaniem poświęconym badaniom sieci neuronowych. Grossberg organizuje również i przewodniczy dorocznej Międzynarodowej Konferencji na temat Systemów Poznawczych i Neuronowych (ICCNS) od 1997 roku, a także wielu innych konferencji z dziedziny sieci neuronowych.
Grossberg był członkiem rady redakcyjnej 30 czasopism, w tym Journal of Cognitive Neuroscience , Behavioural and Brain Sciences , Cognitive Brain Research , Cognitive Science , Neural Computation , IEEE Transactions on Neural Networks , IEEE Expert oraz International Journal of Humanoid Robotics .
Nagrody
Nagrody przyznane Grossbergowi:
- 1991 Nagroda pioniera sieci neuronowej IEEE
- 1992 INNS Leadership Award
- 1992 Nagroda Boston Computer Society Thinking Technology
- 2000 Information Science Award Stowarzyszenia na Rzecz Inteligentnych Maszyn
- 2002 Charles River Laboratories nagroda Towarzystwa Toksykologii Behawioralnej
- 2003 Nagroda INNS Helmholtz.
Członkostwa:
- 1990 członek Towarzystwa Badań Zaburzeń Pamięci
- 1994 Członek Amerykańskiego Towarzystwa Psychologicznego
- 1996 Członek Towarzystwa Psychologów Eksperymentalnych
- 2002 Członek Amerykańskiego Towarzystwa Psychologicznego
- 2005 stypendysta IEEE
- Członek inauguracyjny Amerykańskiego Stowarzyszenia Badań Edukacyjnych w 2008 r.
- stypendysta INNS 2011
Grossberg otrzymał nagrodę Norman Anderson Lifetime Achievement Award 2015 od Towarzystwa Psychologów Eksperymentalnych „za pionierskie badania teoretyczne nad tym, jak mózgi powodują powstawanie umysłów i jego fundamentalny wkład w neuronaukę obliczeniową i koneksjonistyczną kognitywistykę”. Jego przemówienie można znaleźć tutaj.
Otrzymał nagrodę Instytutu Inżynierów Elektryków i Elektroników (IEEE) Frank Rosenblatt 2017 z następującym cytatem: „Za wkład w zrozumienie poznania i zachowania mózgu oraz ich emulacji przez technologię”.
W 2019 roku otrzymał nagrodę Donalda O. Hebba przyznawaną przez International Neural Network Society, przyznawaną „za wybitne osiągnięcia w nauce biologicznej”.
Teoria SZTUKI
Wraz z Gail Carpenter Grossberg opracował adaptacyjną teorię rezonansu (ART). ART to poznawcza i neuronalna teoria tego, jak mózg może szybko uczyć się oraz stabilnie zapamiętywać i rozpoznawać obiekty i zdarzenia w zmieniającym się świecie. ART zaproponował rozwiązanie dylematu stabilność-plastyczność; mianowicie, w jaki sposób mózg lub maszyna może szybko uczyć się o nowych obiektach i zdarzeniach bez równie szybkiego zapomnienia wcześniej poznanych, ale wciąż użytecznych wspomnień.
ART przewiduje, w jaki sposób wyuczone odgórne oczekiwania skupiają uwagę na oczekiwanych kombinacjach funkcji, prowadząc do rezonansu synchronicznego, który może przyspieszyć naukę. ART przewiduje również, jak duże rozbieżności między oddolnymi wzorcami cech a odgórnymi oczekiwaniami mogą prowadzić do przeszukiwania pamięci lub testowania hipotez pod kątem kategorii rozpoznawania, dzięki którym można lepiej nauczyć się klasyfikować świat. ART definiuje zatem rodzaj samoorganizującego się systemu produkcyjnego.
ART został praktycznie zademonstrowany poprzez rodzinę klasyfikatorów ART (np. ART 1, ART 2, ART 2A, ART 3, ARTMAP, rozmyty ARTMAP, ART eMAP, rozproszony ARTMAP), opracowanych wspólnie z Gail Carpenter, zastosowania w inżynierii i technologii, gdzie potrzebna jest szybka, ale stabilna, stopniowo wyuczona klasyfikacja i przewidywanie.
Nowe paradygmaty obliczeniowe
Grossberg wprowadził i prowadził rozwój dwóch paradygmatów obliczeniowych, które są istotne dla inteligencji biologicznej i jej zastosowań:
Obliczenia komplementarne
Jaka jest natura specjalizacji mózgu? Wielu naukowców proponowało, aby nasze mózgi posiadały niezależne moduły, jak w komputerze cyfrowym. Organizacja mózgu w odrębne obszary anatomiczne i strumienie przetwarzania pokazuje, że przetwarzanie mózgu jest rzeczywiście wyspecjalizowane. Jednak niezależne moduły powinny być w stanie samodzielnie w pełni obliczać swoje poszczególne procesy. Wiele danych behawioralnych przemawia przeciwko tej możliwości.
Complementary Computing (Grossberg, 2000, 2012) dotyczy odkrycia, że pary równoległych strumieni przetwarzania kory obliczają komplementarne właściwości w mózgu. Każdy strumień ma uzupełniające się mocne i słabe strony obliczeniowe, podobnie jak w przypadku zasad fizycznych, takich jak Zasada Nieoznaczoności Heisenberga. Każdy strumień korowy może również posiadać wiele etapów przetwarzania. Te etapy realizują hierarchiczne rozwiązanie niepewności . „Niepewność” oznacza tutaj, że obliczenie jednego zestawu właściwości na danym etapie uniemożliwia obliczenie komplementarnego zestawu właściwości na tym etapie.
Complementary Computing proponuje, że jednostka obliczeniowa przetwarzania mózgu, która ma znaczenie behawioralne, składa się z równoległych interakcji między komplementarnymi korowymi strumieniami przetwarzania z wieloma etapami przetwarzania w celu obliczenia pełnych informacji o określonym typie inteligencji biologicznej.
Obliczenia laminarne
Kora mózgowa, siedziba wyższej inteligencji we wszystkich modalnościach, jest zorganizowana w obwody warstwowe (często sześć głównych warstw), które podlegają charakterystycznym interakcjom oddolnym, odgórnym i poziomym. W jaki sposób specjalizacje tego wspólnego laminarnego projektu ucieleśniają różne typy inteligencji biologicznej, w tym wzrok, mowę i język oraz poznanie? Laminar Computing proponuje, jak to się może stać (Grossberg, 1999, 2012).
Laminar Computing wyjaśnia, w jaki sposób laminarny projekt kory nowej może realizować najlepsze właściwości przetwarzania sprzężenia do przodu i sprzężenia zwrotnego, przetwarzania cyfrowego i analogowego oraz przetwarzania opartego na danych oddolnych i odgórnego przetwarzania opartego na uważnych hipotezach. Wbudowanie takich projektów w układy VLSI może umożliwić rozwój coraz bardziej uniwersalnych, adaptacyjnych algorytmów autonomicznych do wielu zastosowań.