Maszyna wektorów trafności — Relevance vector machine

Część serii na
Uczenie maszynowe i eksploracja danych
Problemy Klasyfikacja Grupowanie Regresja Wykrywanie anomalii AutoML Zasady stowarzyszenia Nauka wzmacniania Prognoza strukturalna Structure Inżynieria funkcji Nauka funkcji Nauka online Nauka częściowo nadzorowana Nauka nienadzorowana Nauka rangi Indukcja gramatyczna
Uczenie nadzorowane ( klasyfikacja  • regresja ) Drzewa decyzyjne Zespoły Parcianka Wzmacnianie Losowy las k -NN Regresja liniowa Naiwny Bayes Sztuczne sieci neuronowe Regresja logistyczna Perceptron Maszyna wektorów trafności (RVM) Maszyna wektorów pomocniczych (SVM)
Grupowanie BRZOZOWY LEKARSTWO Hierarchiczny k -oznacza Oczekiwanie – maksymalizacja (EM) DBSCAN OPTYKA Średnia zmiana
Redukcja wymiarowości Analiza czynników CCA ICA LDA NMF PCA PGD t-SNE
Prognoza strukturalna Structure Modele graficzne Sieć Bayesa Warunkowe pole losowe Ukryty Markow
Wykrywanie anomalii k -NN Lokalny czynnik odstający
Sztuczna sieć neuronowa Autokoder Obliczenia kognitywne Głęboka nauka DeepDream Perceptron wielowarstwowy RNN LSTM GRU ESN Ograniczona maszyna Boltzmanna GAN SOM Konwolucyjna sieć neuronowa U-Net Transformator Wzrastająca sieć neuronowa Memtranzystor Elektrochemiczna pamięć RAM (ECRAM)
Nauka wzmacniania Q-learning SARSA Różnica czasowa (TD)
Teoria Kompromis między odchyleniami a wariancją Teoria uczenia się komputerowego Minimalizacja ryzyka empirycznego Nauka Occam Nauka PAC Nauka statystyczna Teoria VC
Miejsca uczenia maszynowego NeuroIPS ICML ML JMLR ArXiv:cs.LG
Powiązane artykuły Słowniczek sztucznej inteligencji Lista zbiorów danych do badań nad uczeniem maszynowym Zarys uczenia maszynowego
v t mi

W matematyce , o Trafność Wektor ciężki (RVM) jest maszyna uczenia się techniki, które wykorzystuje Bayesa wnioskowanie do uzyskania oszczędne rozwiązania dla regresji i klasyfikacji probabilistyczny . RVM ma identyczną formę funkcjonalną jak maszyna wektorów nośnych , ale zapewnia klasyfikację probabilistyczną.

W rzeczywistości jest to odpowiednik modelu procesu Gaussa z funkcją kowariancji :

${\ Displaystyle k (\ mathbf {x} , \ mathbf {x'} ) = \ suma _ {j = 1} ^ {N} {\ Frac {1} {\ alfa _ {j}}} \ varphi (\ mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

gdzie jest funkcją jądra (zazwyczaj Gaussian), są wariancjami a prior w wektorze wagowym i są wektorami wejściowymi zestawu szkoleniowego . ${\displaystyle \varphi}$${\ Displaystyle \ alfa _ {j}}$${\ Displaystyle w \ SIM N (0, \ alfa ^ {-1} ja)}$${\ Displaystyle \ mathbf {x} _ {1} \ ldots \ mathbf {x} _ {N}}$

W porównaniu do maszyn wektorów nośnych (SVM), Bayesowskie sformułowanie RVM pozwala uniknąć zestawu wolnych parametrów SVM (które zwykle wymagają post-optymalizacji opartych na walidacji krzyżowej). Jednak RVM wykorzystują metodę uczenia się podobną do maksymalizacji oczekiwań (EM) i dlatego są zagrożone lokalnymi minimami. Jest to w przeciwieństwie do standardowych algorytmów opartych na minimalnej optymalizacji sekwencyjnej (SMO) stosowanych przez maszyny SVM , które gwarantują znalezienie globalnego optimum (problemu wypukłości).

Maszyna wektorów relewancji jest opatentowana w Stanach Zjednoczonych przez firmę Microsoft (patent wygasł 4 września 2019 r.).

Zobacz też

• Sztuczka jądra
• Skalowanie Platta : zamienia SVM w model prawdopodobieństwa

Bibliografia

Oprogramowanie

• dlib Biblioteka C++
• Biblioteka maszynowo-jądrowa
• rvmbinary : pakiet R do klasyfikacji binarnej
• scikit-rvm
• fast-scikit-rvm , samouczek rvm

Linki zewnętrzne

• Strona internetowa Tippinga poświęcona rzadkim modelom bayesowskim i RVM
• Samouczek dotyczący RVM autorstwa Tristana Fletchera
• Zastosowany samouczek dotyczący RVM
• Porównanie RVM i SVM