Ograniczona maszyna Boltzmanna - Restricted Boltzmann machine

Część serii na
Uczenie maszynowe i eksploracja danych
Problemy Klasyfikacja Grupowanie Regresja Wykrywanie anomalii Czyszczenie danych AutoML Zasady stowarzyszenia Nauka wzmacniania Prognoza strukturalna Inżynieria funkcji Nauka funkcji Nauka online Nauka częściowo nadzorowana Nauka nienadzorowana Nauka rangi Indukcja gramatyczna
Uczenie nadzorowane ( klasyfikacja  • regresja ) Drzewa decyzyjne Zespoły Parcianka Wzmacnianie Losowy las k -NN Regresja liniowa Naiwny Bayes Sztuczne sieci neuronowe Regresja logistyczna Perceptron Maszyna wektorów trafności (RVM) Maszyna wektorów pomocniczych (SVM)
Grupowanie BRZOZOWY LECZYĆ Hierarchiczny k -oznacza Oczekiwanie – maksymalizacja (EM) DBSCAN OPTYKA Średnia zmiana
Redukcja wymiarowości Analiza czynników CCA ICA LDA NMF PCA PGD t-SNE
Prognoza strukturalna Modele graficzne Sieć Bayesa Warunkowe pole losowe Ukryty Markow
Wykrywanie anomalii k -NN Lokalny czynnik odstający
Sztuczna sieć neuronowa Autokoder Obliczenia kognitywne Głęboka nauka DeepDream Perceptron wielowarstwowy RNN LSTM GRU ESN Ograniczona maszyna Boltzmanna GAN SOM Konwolucyjna sieć neuronowa U-Net Transformator Wzrastająca sieć neuronowa Memtranzystor Elektrochemiczna pamięć RAM (ECRAM)
Nauka wzmacniania Q-learning SARSA Różnica czasowa (TD)
Teoria Kompromis między odchyleniami a wariancją Teoria uczenia się komputerowego Minimalizacja ryzyka empirycznego Nauka Occam Nauka PAC Nauka statystyczna Teoria VC
Miejsca uczenia maszynowego NeuroIPS ICML ML JMLR ArXiv:cs.LG
Powiązane artykuły Słowniczek sztucznej inteligencji Lista zbiorów danych do badań nad uczeniem maszynowym Zarys uczenia maszynowego
v T mi

Schemat ograniczonej maszyny Boltzmanna z trzema widocznymi jednostkami i czterema ukrytymi jednostkami (bez jednostek stronniczości).

Ograniczony maszyna Boltzmanna ( RBM ) jest generatywna stochastyczny sztuczne sieci neuronowe , które mogą nauczyć się rozkład prawdopodobieństwa nad swoim zestawem wejść.

RBM zostały początkowo wynalezione pod nazwą Harmonium przez Paula Smolensky'ego w 1986 roku i zyskały na znaczeniu po tym, jak Geoffrey Hinton i jego współpracownicy wymyślili dla nich algorytmy szybkiego uczenia się w połowie 2000 roku. RBM znalazły zastosowanie w redukcji wymiarów , klasyfikacji , filtrowaniu grupowym , uczeniu cech , modelowaniu tematów , a nawet w wielu mechanikach kwantowych ciała . Mogą być szkoleni w sposób nadzorowany lub nienadzorowany , w zależności od zadania.

Jak sama nazwa wskazuje, RBM są odmianą maszyn Boltzmanna , z zastrzeżeniem, że ich neurony muszą tworzyć graf dwudzielny : parę węzłów z każdej z dwóch grup jednostek (powszechnie określanych jako „widoczne” i „ukryte” jednostki odpowiednio) mogą mieć symetryczne połączenie między nimi; i nie ma połączeń między węzłami w grupie. Natomiast „nieograniczone” maszyny Boltzmanna mogą mieć połączenia między ukrytymi jednostkami . To ograniczenie pozwala na bardziej wydajne algorytmy treningowe niż dostępne dla ogólnej klasy maszyn Boltzmanna, w szczególności oparty na gradientowym algorytmie kontrastowej dywergencji .

Ograniczone maszyny Boltzmann mogą być również używane w sieciach głębokiego uczenia . W szczególności, głębokie sieci przekonań mogą być tworzone przez „układanie w stos” RBM i opcjonalnie dostrajanie wynikowej głębokiej sieci z gradientem opadania i wstecznej propagacji .

Struktura

Standardowy typ RBM ma ukryte i widoczne jednostki binarne ( Boolean ) i składa się z macierzy wag o rozmiarze . Każdy element wagi macierzy jest powiązany z połączeniem jednostki widocznej (wejściowej) z jednostką ukrytą . Ponadto istnieją wagi odchylenia (przesunięcia) dla i dla . Biorąc pod uwagę wagi i błędy systematyczne, energia konfiguracji (pary wektorów binarnych) ( v , h ) jest zdefiniowana jako ${\ Displaystyle W}$${\displaystyle m\razy n}$${\ Displaystyle (w_ {i, j})}$${\displaystyle v_{i}}$${\displaystyle h_{j}}$${\displaystyle a_{i}}$${\displaystyle v_{i}}$${\displaystyle b_{j}}$${\displaystyle h_{j}}$

${\ Displaystyle E (v, h) = - \ suma _ {i} a_ {i} v_ {i} - \ suma _ {j} b_ {j} h_ {j} - \ suma _ {i} \ suma _ {j}v_{i}w_{i,j}h_{j}}$

lub w notacji macierzowej,

${\ Displaystyle E (v, h) = -a ^ {\ operatorname {T}} vb ^ {\ operatorname {T}} hv ^ {\ operatorname {T}} Wh.}$

Ta funkcja energii jest analogiczna do funkcji sieci Hopfielda . Podobnie jak w przypadku ogólnych maszyn Boltzmanna, łączny rozkład prawdopodobieństwa dla widocznych i ukrytych wektorów jest zdefiniowany w kategoriach funkcji energii w następujący sposób:

${\ Displaystyle P (v, h) = {\ Frac {1} {Z}} e ^ {-E (v, h)}}$

gdzie jest funkcją podziału zdefiniowaną jako suma wszystkich możliwych konfiguracji, którą można interpretować jako stałą normalizującą, aby zapewnić, że prawdopodobieństwa sumują się do 1. Prawdopodobieństwo krańcowe widzialnego wektora jest sumą wszystkich możliwych konfiguracji warstw ukrytych, ${\ Displaystyle Z}$${\ Displaystyle e ^ {-E (v, h)}}$${\displaystyle P(v,h)}$

${\ Displaystyle P (v) = {\ Frac {1} {Z}} \ suma _ {\ {h \}} e ^ {-E (v, h)}}$,

i wzajemnie. Ponieważ podstawowa struktura wykresu RBM jest dwudzielna (co oznacza, że ​​nie ma połączeń wewnątrzwarstwowych), aktywacje ukrytych jednostek są wzajemnie niezależne, biorąc pod uwagę aktywacje widocznych jednostek. I odwrotnie, widoczne aktywacje jednostek są od siebie niezależne, biorąc pod uwagę aktywacje ukrytych jednostek. Oznacza to, że dla m jednostek widocznych i n jednostek ukrytych prawdopodobieństwo warunkowe konfiguracji jednostek widocznych v przy danej konfiguracji jednostek ukrytych h wynosi

${\ Displaystyle P (v | h) = \ prod _ {i = 1} ^ {m} P (v_ {i} | h)}$.

Odwrotnie, warunkowe prawdopodobieństwo h przy danym v wynosi

${\ Displaystyle P (h | v) = \ prod _ {j = 1} ^ {n} P (h_ {j} | v)}$.

Indywidualne prawdopodobieństwa aktywacji podane są przez:

${\ Displaystyle P (h_ {j} = 1 | v) = \ sigma \ lewo (b_ {j} + \ suma _ {i = 1} ^ {m} w_ {i, j} v_ {i} \ po prawej) }$ oraz ${\ Displaystyle \, P (v_ {i} = 1 | h) = \ sigma \ lewo (a_ {i} + \ suma _ {j = 1} ^ {n} w_ {i, j} h_ {j} \ Prawidłowy)}$

gdzie oznacza sigmoid logistyczny . ${\displaystyle \sigma}$

Widoczne jednostki Restricted Boltzmann Machine mogą być wielomianowe , chociaż ukryte jednostki to Bernoulli . W tym przypadku funkcję logistyczną dla widocznych jednostek zastępuje funkcja softmax

${\ Displaystyle P (v_ {i} ^ {k} = 1 | h) = {\ Frac {\ exp (a_ {i} ^ {k} + \ Sigma _ {j} W_ {ij} ^ {k} h_ {j})}{\Sigma _{k'=1}^{K}\exp(a_{i}^{k'}+\Sigma _{j}W_{ij}^{k'}h_{j })}}}$

gdzie K jest liczbą dyskretnych wartości, które mają widoczne wartości. Stosowane są w systemach modelowania tematów i rekomendacji .

Stosunek do innych modeli

Ograniczone maszyny Boltzmanna są szczególnym przypadkiem maszyn Boltzmanna i pól losowych Markowa . Ich model graficzny odpowiada modelowi analizy czynnikowej .

Algorytm treningowy

Ograniczone maszyny Boltzmanna są uczone tak, aby zmaksymalizować iloczyn prawdopodobieństw przypisanych do jakiegoś zbioru uczącego (macierz, której każdy wiersz jest traktowany jako widoczny wektor ), ${\ Displaystyle V}$${\displaystyle v}$

${\ Displaystyle \ arg \ max _ {W} \ prod _ {v \ w V} P (v)}$

lub równoważnie, aby zmaksymalizować oczekiwane prawdopodobieństwo logarytmiczne próby uczącej wybranej losowo z : ${\displaystyle v}$${\ Displaystyle V}$

${\ Displaystyle \ arg \ max _ {W} \ mathbb {E} \ lewo [\ log P (v) \ prawo]}$

Algorytm najczęściej używanym do trenowania RBM, czyli do optymalizacji wektora wagowego , jest algorytm rozbieżności kontrastowej (CD) autorstwa Hintona , pierwotnie opracowany do trenowania modeli PoE ( produkt ekspertów ). Algorytm wykonuje próbkowanie Gibbsa i jest używany w procedurze gradientu (podobnie jak propagacja wsteczna jest używana w takiej procedurze podczas uczenia sieci neuronowych ze sprzężeniem do przodu) do obliczania aktualizacji wagi. ${\ Displaystyle W}$

Podstawową, jednoetapową procedurę kontrastywnej dywergencji (CD-1) dla pojedynczej próbki można podsumować w następujący sposób:

1. Weź próbkę treningową v , oblicz prawdopodobieństwa ukrytych jednostek i próbuj ukryty wektor aktywacji h z tego rozkładu prawdopodobieństwa.
2. Oblicza zewnętrzną produkt o v i h i nazywają to dodatni gradient .
3. Z h , próbkuj rekonstrukcję v' widocznych jednostek, a następnie ponownie próbkuj ukryte aktywacje h' z tego. (Krok próbkowania Gibbsa)
4. Oblicza zewnętrzną produkt o v „ i h” i nazywają to ujemny gradient .
5. Niech aktualizacja macierzy wag będzie równa gradientowi dodatniemu minus gradientowi ujemnemu pomnożonemu przez pewną szybkość uczenia się: .${\ Displaystyle W}$${\ Displaystyle \ Delta W = \ epsilon (vh ^ {\ mathsf {T}} -v'h' ^ {\ mathsf {T}})}$
6. Aktualizować uprzedzeń i b analogicznie: , .${\ Displaystyle \ Delta a = \ epsilon (v-v ')}$${\ Displaystyle \ Delta b = \ epsilon (h-h')}$

Praktyczny przewodnik po szkoleniach RBM napisany przez Hintona można znaleźć na jego stronie internetowej.

Literatura

• Fischera, Asji; Igel, Christian (2012), „Wprowadzenie do ograniczonych maszyn Boltzmanna” , Postęp w rozpoznawaniu wzorców, analiza obrazu , widzenie komputerowe i aplikacje , Berlin, Heidelberg: Springer Berlin Heidelberg, s. 14-36 , pobrane 19.09.2021

Zobacz też

• Autokoder
• Maszyna Helmholtza

Bibliografia

Zewnętrzne linki

• Wprowadzenie do ograniczonych maszyn Boltzmanna . Blog Edwina Chena, 18 lipca 2011 r.
• „Przewodnik dla początkujących po ograniczonych maszynach Boltzmanna” . Zarchiwizowane z oryginału w dniu 11 lutego 2017 r . Źródło 15 listopada 2018 .CS1 maint: bot: nieznany status oryginalnego adresu URL ( link ). Dokumentacja Deeplearning4j
• „Zrozumienie RBM” . Zarchiwizowane z oryginału w dniu 20 września 2016 r . Pobrano 29 grudnia 2014 .. Dokumentacja Deeplearning4j
• Implementacja w Pythonie Bernoulli RBM i samouczek
• SimpleRBM to bardzo mały kod RBM (24kB) przydatny, aby dowiedzieć się, jak RBM uczą się i działają.