Model Markowa - Markov model
W teorii prawdopodobieństwa , A Model Markowa jest stochastycznym modelem wykorzystywane do modelowania systemów pseudo-losowo zmienia. Zakłada się, że przyszłe stany zależą tylko od stanu bieżącego, a nie od zdarzeń, które miały miejsce przed nim (to znaczy zakłada własność Markowa ). Ogólnie rzecz biorąc, to założenie umożliwia wnioskowanie i obliczenia za pomocą modelu, które w innym przypadku byłyby niewykonalne . Z tego powodu w dziedzinach modelowania predykcyjnego i prognozowania probabilistycznego pożądane jest, aby dany model wykazywał właściwość Markowa.
Wstęp
Istnieją cztery popularne modele Markowa używane w różnych sytuacjach, w zależności od tego, czy każdy stan sekwencyjny jest obserwowalny, czy nie, i czy system ma być korygowany na podstawie dokonanych obserwacji:
| Stan systemu jest w pełni obserwowalny | Stan systemu jest częściowo obserwowalny | |
|---|---|---|
| System jest autonomiczny | Łańcuch Markowa | Ukryty model Markowa |
| System jest kontrolowany | Proces decyzyjny Markowa | Częściowo obserwowalny proces decyzyjny Markowa |
Łańcuch Markowa
Najprostszym modelem Markowa jest łańcuch Markowa . Modeluje stan systemu za pomocą zmiennej losowej, która zmienia się w czasie. W tym kontekście właściwość Markowa sugeruje, że rozkład dla tej zmiennej zależy tylko od rozkładu poprzedniego stanu. Przykładem użycia łańcucha Markowa jest Monte Carlo łańcucha Markowa , który wykorzystuje właściwość Markowa do udowodnienia , że konkretna metoda wykonania błądzenia losowego będzie pobierać próbkę z rozkładu łącznego .
Ukryty model Markowa
Ukryty wzór Markowa jest łańcuchem Markowa, których stan tylko w części zaobserwować zaobserwować lub hałasem. Innymi słowy, obserwacje są związane ze stanem systemu, ale zazwyczaj nie wystarczają do precyzyjnego określenia stanu. Istnieje kilka dobrze znanych algorytmów dla ukrytych modeli Markowa. Na przykład, mając daną sekwencję obserwacji, algorytm Viterbiego obliczy najbardziej prawdopodobną odpowiednią sekwencję stanów, algorytm postępujący obliczy prawdopodobieństwo sekwencji obserwacji, a algorytm Bauma-Welcha oszacuje prawdopodobieństwa początkowe, przejście funkcji i funkcji obserwacji ukrytego modelu Markowa.
Jednym z powszechnych zastosowań jest rozpoznawanie mowy , gdzie obserwowane dane to kształt fali dźwiękowej mowy, a stanem ukrytym jest tekst mówiony. W tym przykładzie algorytm Viterbiego znajduje najbardziej prawdopodobną sekwencję wypowiadanych słów, biorąc pod uwagę dźwięk mowy.
Proces decyzyjny Markowa
Proces decyzyjny Markowa jest łańcuchem Markowa, w którym stan przejścia zależy od aktualnego stanu i wektora akcji, która jest stosowana do systemu. Zazwyczaj proces decyzyjny Markowa służy do obliczania polityki działań, które zmaksymalizują pewną użyteczność w odniesieniu do oczekiwanych nagród.
Częściowo obserwowalny proces decyzyjny Markowa
Częściowo obserwowalny proces Markowa (POMDP) to proces decyzyjny Markowa, w którym stan układu tylko częściowo przestrzegane. Wiadomo, że POMDP są NP kompletne , ale ostatnie techniki przybliżania uczyniły je przydatnymi w różnych zastosowaniach, takich jak sterowanie prostymi agentami lub robotami.
Losowe pole Markowa
Markowa losowo pola lub sieć Markowa, może być uważany za uogólnienie łańcucha Markowa w wielu wymiarach. W łańcuchu Markowa stan zależy tylko od poprzedniego stanu w czasie, podczas gdy w polu losowym Markowa każdy stan zależy od sąsiadów w dowolnym z wielu kierunków. Pole losowe Markowa można wizualizować jako pole lub wykres zmiennych losowych, gdzie rozkład każdej zmiennej losowej zależy od zmiennych sąsiednich, z którymi jest połączona. Dokładniej, łączny rozkład dla dowolnej zmiennej losowej na wykresie można obliczyć jako iloczyn „potencjałów klik” wszystkich klik na wykresie, które zawierają tę zmienną losową. Modelowanie problemu jako pola losowego Markowa jest przydatne, ponieważ oznacza, że w ten sposób można obliczyć wspólne rozkłady w każdym wierzchołku grafu.
Hierarchiczne modele Markowa
Hierarchiczne modele Markowa można zastosować do kategoryzacji ludzkich zachowań na różnych poziomach abstrakcji. Na przykład serię prostych obserwacji, takich jak położenie osoby w pokoju, można zinterpretować w celu określenia bardziej złożonych informacji, takich jak zadanie lub czynność wykonywana przez tę osobę. Dwa rodzaje hierarchicznych modeli Markowa to hierarchiczny ukryty model Markowa i abstrakcyjny ukryty model Markowa. Oba zostały wykorzystane do rozpoznawania zachowań. a pewne warunkowe własności niezależności między różnymi poziomami abstrakcji w modelu pozwalają na szybsze uczenie się i wnioskowanie.
Tolerancyjny model Markowa
Tolerancyjny model Markowa (TMM) to probabilistyczno-algorytmiczny model łańcucha Markowa. Przypisuje prawdopodobieństwa zgodnie z kontekstem warunkowania, który traktuje ostatni symbol z sekwencji, która ma wystąpić, jako najbardziej prawdopodobny zamiast prawdziwie występującego symbolu. TMM może modelować trzy różne natury: substytucje, dodatki lub usunięcia. Udane zastosowania zostały skutecznie wdrożone w kompresji sekwencji DNA.
Modele prognostyczne łańcucha Markowa
Łańcuchy Markowa zostały wykorzystane jako metody prognozowania dla kilku tematów, na przykład trendów cenowych, energii wiatrowej i napromieniowania słonecznego. Modele prognostyczne łańcucha Markowa wykorzystują wiele różnych ustawień, od dyskretyzacji szeregów czasowych do ukrytych modeli Markowa w połączeniu z falkami i modelem dystrybucji mieszanin łańcuchowych Markowa (MCM).
Zobacz też
Bibliografia
- ^ B Gagniuc Paul A. (2017). Łańcuchy Markowa: od teorii do realizacji i eksperymentów . USA, NJ: John Wiley & Sons. s. 1-256. Numer ISBN 978-1-119-38755-8.
- ^ Kaelbling, LP; Littman, ML; Cassandra, AR (1998). „Planowanie i działanie w częściowo obserwowalnych dziedzinach stochastycznych” . Sztuczna Inteligencja . 101 (1–2): 99–134. doi : 10.1016/S0004-3702(98)00023-X . ISSN 0004-3702 .
- ^ Dobra, S.; Piosenkarka, Y. (1998). "Hierarchiczny ukryty model Markowa: Analiza i zastosowania" . Uczenie maszynowe . 32 (1): 41–62. doi : 10.1023/A:1007469218079 .
- ^ B Bui HH; Venkatesh, S.; Zachód, G. (2002). „Uznanie polityki w abstrakcyjnym modelu ukrytego Markowa” . Czasopismo Badań nad Sztuczną Inteligencją . 17 : 451–499. doi : 10.1613/jair.839 .
- ^ Theocharous, G. (2002). Hierarchiczne uczenie się i planowanie w częściowo obserwowalnych procesach decyzyjnych Markowa (doktorat). Uniwersytet Stanowy Michigan.
- ^ Luhr, S.; Bui, HH; Venkatesh, S.; Zachód, GAW (2003). „Rozpoznawanie działalności człowieka poprzez hierarchiczne uczenie się stochastyczne” . PERCOM '03 Materiały z Pierwszej Międzynarodowej Konferencji IEEE na temat Przetwarzania Wszechobecnego i Komunikacji . s. 416–422. CiteSeerX 10.1.1.323.928 . doi : 10.1109/PERCOM.2003.1192766 . Numer ISBN 978-0-7695-1893-0. S2CID 13938580 .
- ^ B Pratas, D .; Hosseini, M.; Pinho, AJ (2017). „Substytucyjne tolerancyjne modele Markowa dla względnej kompresji sekwencji DNA”. PACBB 2017 – 11. Międzynarodowa Konferencja Praktycznych Zastosowań Biologii Obliczeniowej i Bioinformatyki, Porto, Portugalia . s. 265–272. doi : 10.1007/978-3-319-60816-7_32 . Numer ISBN 978-3-319-60815-0.
- ^ Pratas, D.; Pinho, AJ; Ferreira, PJSG (2016). „Skuteczna kompresja sekwencji genomowych”. Konferencja Kompresji Danych (DCC), 2016 . IEEE. s. 231-240. doi : 10.1109/DCC.2016.60 . Numer ISBN 978-1-5090-1853-6. S2CID 14230416 .
- ^ B de Souza Silva e, na przykład; Legey, LFL; de Souza e Silva, EA (2010). „Prognozowanie trendów cen ropy za pomocą falek i ukrytych modeli Markowa” . Ekonomia energii . 32 .
- ^ a b karpinon, A; Giorgio, M; Langella, R.; Testa, A. (2015). "Modelowanie łańcucha Markowa do bardzo krótkoterminowego prognozowania energetyki wiatrowej" . Badania systemów elektroenergetycznych . 122 : 152–158. doi : 10.1016/j.epsr.2014.12.025 .
- ^ B Munkhammar J .; van der Meer, DW; Widén, J. (2019). „Probabilistyczne prognozowanie szeregów czasowych indeksu czystego nieba o wysokiej rozdzielczości przy użyciu modelu dystrybucji mieszaniny łańcuchów Markowa”. Energia słoneczna . 184 : 688-695. doi : 10.1016/j.solener.2019.04.014 .