Geoffrey Hinton - Geoffrey Hinton

Geoffrey Hinton

Geoffrey Hinton w UBC.jpg
Hinton w 2013 roku
Urodzić się
Geoffrey Everest Hinton

( 1947-12-06 )6 grudnia 1947 (wiek 73)
Alma Mater
Znany z
Nagrody
Kariera naukowa
Pola
Instytucje Uniwersytet Toronto
Google
Carnegie Mellon
University College London
University of California, San Diego
Praca dyplomowa Relaks i jego rola w wizji  (1977)
Doradca doktorski Christopher Longuet-Higgins
Doktoranci
Inni ważni studenci
Stronie internetowej www .cs .toronto .edu /~hinton /

Geoffrey Everest Hinton CC FRS FRSC (ur. 6 grudnia 1947) to brytyjsko - kanadyjski psycholog kognitywny i informatyk , najbardziej znany ze swojej pracy nad sztucznymi sieciami neuronowymi . Od 2013 dzieli swój czas pracując dla Google ( Google Brain ) i University of Toronto . W 2017 roku współtworzył i został Głównym Doradcą Naukowym Vector Institute w Toronto.

Wraz z Davidem Rumelhartem i Ronaldem J. Williamsem Hinton był współautorem wysoko cytowanego artykułu opublikowanego w 1986 roku, który spopularyzował algorytm wstecznej propagacji błędów do uczenia wielowarstwowych sieci neuronowych, chociaż nie byli pierwszymi, którzy zaproponowali to podejście. Hinton jest postrzegany jako wiodąca postać w społeczności głębokiego uczenia się . Dramatyczny kamień milowy w rozpoznawaniu obrazów, stworzony przez AlexNet, zaprojektowany we współpracy z jego studentami Alexem Krizhevskym i Ilyą Sutskever w ramach wyzwania ImageNet 2012, był przełomem w dziedzinie wizji komputerowej.

Hinton otrzymał nagrodę Turinga 2018 wraz z Yoshuą Bengio i Yannem LeCunem za pracę nad głębokim uczeniem. Są czasami określani jako „ojcowie chrzestni sztucznej inteligencji” i „ojcowie chrzestni głębokiego uczenia się” i nadal razem wygłaszają publiczne wykłady.

Edukacja

Hinton kształcił się w King's College w Cambridge , uzyskując w 1970 roku licencjat z psychologii eksperymentalnej. Kontynuował studia na Uniwersytecie w Edynburgu, gdzie uzyskał stopień doktora. w sztucznej inteligencji w 1978 r. za badania pod kierunkiem Christophera Longuet-Higginsa .

Kariera i badania

Po doktoracie pracował na Uniwersytecie Sussex oraz (po trudnościach ze znalezieniem finansowania w Wielkiej Brytanii) na Uniwersytecie Kalifornijskim, San Diego i Carnegie Mellon University . Był dyrektorem założycielem Katedry Neuronauki Obliczeniowej Fundacji Gatsby Charitable na University College London , a obecnie jest profesorem na wydziale informatyki na Uniwersytecie w Toronto . Jest kierownikiem Canada Research Chair w Machine Learning, a obecnie jest doradcą programu Learning in Machines & Brains w Kanadyjskim Instytucie Badań Zaawansowanych . Hinton prowadził bezpłatny kurs online na temat sieci neuronowych na platformie edukacyjnej Coursera w 2012 roku. Hinton dołączył do Google w marcu 2013 roku, kiedy jego firma, DNNresearch Inc., została przejęta. Planuje „podzielić swój czas między badania uniwersyteckie a pracę w Google”.

Badania Hintona dotyczą sposobów wykorzystania sieci neuronowych do uczenia maszynowego , pamięci , percepcji i przetwarzania symboli. Jest autorem lub współautorem ponad 200 recenzowanych publikacji.

Podczas gdy Hinton był profesorem na Carnegie Mellon University (1982–1987), David E. Rumelhart oraz Hinton i Ronald J. Williams zastosowali algorytm wstecznej propagacji błędów do wielowarstwowych sieci neuronowych. Ich eksperymenty wykazały, że takie sieci mogą uczyć się przydatnych wewnętrznych reprezentacji danych. W wywiadzie z 2018 roku Hinton powiedział, że „ David E. Rumelhart wpadł na podstawową ideę wstecznej propagacji, więc to jego wynalazek”. Chociaż praca ta była ważna w popularyzacji wstecznej propagacji, nie była pierwszą, która zasugerowała takie podejście. Automatyczne różnicowanie w trybie odwrotnym , którego propagacja wsteczna jest szczególnym przypadkiem, zostało zaproponowane przez Seppo Linnainmaa w 1970 roku, a Paul Werbos zaproponował wykorzystanie go do trenowania sieci neuronowych w 1974 roku.

W tym samym okresie Hinton wspólnie z Davidem Ackleyem i Terrym Sejnowskim wynalazł maszyny Boltzmanna . Jego inne wkłady w badania sieci neuronowych obejmują reprezentacje rozproszone , sieci neuronowe z opóźnieniem czasowym , mieszanki ekspertów, maszyny Helmholtza i produkt ekspertów . W 2007 roku Hinton był współautorem artykułu do nauki nienadzorowanej zatytułowanego Nienadzorowane uczenie się transformacji obrazu . Przystępne wprowadzenie do badań Geoffreya Hintona można znaleźć w jego artykułach w Scientific American we wrześniu 1992 i październiku 1993.

W październiku i listopadzie 2017 r. Hinton opublikował dwa artykuły badawcze w otwartym dostępie na temat kapsułowych sieci neuronowych , które według Hintona są „w końcu czymś, co działa dobrze”.

Znani byli doktoranci i badacze podoktorancki z jego grupy to Peter Dayan , Sam Roweis, Richard Zemel , Brendan Frey , Radford M. Neal , Ruslan Salakhutdinov , Ilya Sutskever , Yann LeCun i Zoubin Ghahramani .

wyróżnienia i nagrody

Od lewej do prawej Russ Salakhutdinov , Richard S. Sutton , Geoffrey Hinton, Yoshua Bengio i Steve Jurvetson w 2016 roku

Hinton został wybrany na członka Towarzystwa Królewskiego (FRS) w 1998 roku . Był pierwszym zdobywcą nagrody Rumelharta w 2001 roku. Jego świadectwo wyboru do Towarzystwa Królewskiego brzmi:

Geoffrey E. Hinton jest znany na arenie międzynarodowej dzięki swojej pracy nad sztucznymi sieciami neuronowymi, zwłaszcza nad tym, jak można je zaprojektować do uczenia się bez pomocy ludzkiego nauczyciela. To może być początek autonomicznych inteligentnych maszyn podobnych do mózgu. Porównał skutki uszkodzenia mózgu ze skutkami strat w takiej sieci i znalazł uderzające podobieństwa z upośledzeniem ludzkim, takie jak rozpoznawanie nazwisk i utrata kategoryzacji. Jego praca obejmuje badania nad obrazami mentalnymi i wymyślanie zagadek do testowania oryginalności i kreatywnej inteligencji. Jest koncepcyjny, matematycznie wyrafinowany i eksperymentalny. Łączy te umiejętności z efektownym efektem, tworząc ważne dzieło o wielkim zainteresowaniu.

W 2001 roku został wyróżniony Hinton jest Honorowy doktorat z University of Edinburgh . W 2005 roku został laureatem nagrody IJCAI Award for Research Excellence za całokształt twórczości. Został również odznaczony Złotym Medalem Herzberg Canada 2011 w dziedzinie nauki i inżynierii . W 2013 roku Hinton otrzymał doktorat honoris causa Université de Sherbrooke .

W 2016 roku został wybrany na członka zagranicznego National Academy of Engineering „Za wkład w teorię i praktykę sztucznych sieci neuronowych oraz ich zastosowanie do rozpoznawania mowy i widzenia komputerowego”. Otrzymał także 2016 IEEE/RSE Wolfson James Clerk Maxwell Award .

Zdobył nagrodę BBVA Foundation Frontiers of Knowledge Award (2016) w kategorii Technologie Informacyjno-Komunikacyjne „za swoją pionierską i wysoce wpływową pracę”, aby wyposażyć maszyny w zdolność uczenia się.

Wraz z Yannem LeCunem i Yoshuą Bengio Hinton zdobył nagrodę Turinga 2018 za przełomowe odkrycia koncepcyjne i inżynierskie, które uczyniły głębokie sieci neuronowe kluczowym elementem informatyki.

W 2018 roku został odznaczony Orderem Kanady .

Życie osobiste

Hinton jest prawnukiem zarówno logika George'a Boole'a , którego praca stała się w końcu jednym z fundamentów współczesnej informatyki, jak i chirurga i autora Jamesa Hintona . który był ojcem Charlesa Howarda Hintona . Ojcem Hintona był Howard Hinton . Jego drugie imię pochodzi od innego krewnego, George Everest . Jest siostrzeńcem ekonomisty Colina Clarka . Stracił swoją pierwszą żonę na raka jajnika w 1994 roku.

Wyświetlenia

Hinton przeniósł się z USA do Kanady, po części z powodu rozczarowania polityką Ronalda Reagana i dezaprobatą dla wojskowego finansowania sztucznej inteligencji.

Hinton złożył petycję przeciwko śmiercionośnej broni autonomicznej . Jeśli chodzi o ryzyko egzystencjalne związane ze sztuczną inteligencją , Hinton zazwyczaj odmawia prognozowania na więcej niż pięć lat w przyszłość, zauważając, że wykładniczy postęp sprawia, że ​​niepewność jest zbyt duża. Jednak w nieformalnej rozmowie z badaczem ryzyka sztucznej inteligencji Nickiem Bostromem w listopadzie 2015 r., podsłuchanej przez dziennikarza Raffiego Khatchadouriana, ma on stwierdzić, że nie spodziewał się, że ogólna sztuczna inteligencja zostanie osiągnięta przez dziesięciolecia („nie wcześniej niż 2070”), i że w kontekście dychotomii wprowadzonej wcześniej przez Bostroma między ludźmi, którzy uważają, że zarządzanie ryzykiem egzystencjalnym ze sztucznej inteligencji jest prawdopodobnie beznadziejne, a na tyle łatwe, że zostanie rozwiązane automatycznie, Hinton „[jest] w obozie, który jest beznadziejny”. Stwierdził: „Myślę, że systemy polityczne wykorzystają to do terroryzowania ludzi” i wyraził przekonanie, że agencje takie jak Agencja Bezpieczeństwa Narodowego już próbują nadużywać podobnej technologii.

Zapytany przez Nicka Bostroma, dlaczego kontynuuje badania pomimo jego poważnych obaw, Hinton stwierdził: „Mógłbym podać zwykłe argumenty. Ale prawda jest taka, że ​​perspektywa odkrycia jest zbyt słodka ”.

Według tego samego raportu, Hinton nie wyklucza kategorycznie ludzi kontrolujących sztuczną superinteligencję, ale ostrzega, że ​​„nie ma dobrych wyników w zakresie mniej inteligentnych rzeczy kontrolujących rzeczy o większej inteligencji”.

Bibliografia