Ciemny las - Darkforest
Darkforest to program komputerowy opracowany przez firmę Facebook, Inc. , oparty na technikach głębokiego uczenia z wykorzystaniem splotowej sieci neuronowej . Jego zaktualizowana wersja Darkfores2 łączy techniki swojego poprzednika z przeszukiwaniem drzewa Monte Carlo . MCTS skutecznie wykorzystuje metody wyszukiwania drzew powszechnie spotykane w komputerowych programach szachowych i dokonuje ich randomizacji. Wraz z aktualizacją system znany jest pod nazwą Darkfmcts3 .
Darkforest ma podobną siłę do programów takich jak CrazyStone i Zen. Został przetestowany z profesjonalnym graczem w Pucharze UEC 2016 . Google „s AlphaGo Program wygrał z profesjonalnym graczem w październiku 2015 stosując podobną kombinację technik.
Nazwa Darkforest pochodzi od powieści science fiction autorstwa Liu Cixina The Dark Forest .
Tło
Rywalizacja z najlepszymi ludzkimi graczami w starożytnej grze Go była długoterminowym celem sztucznej inteligencji. Wysoki współczynnik rozgałęzienia Go sprawia, że tradycyjne techniki wyszukiwania są nieskuteczne, nawet na najnowocześniejszym sprzęcie, a funkcja oceny Go może się drastycznie zmienić po jednej zmianie. Jednak dzięki zastosowaniu głębokiej splotowej sieci neuronowej zaprojektowanej do prognoz długoterminowych, Darkforest był w stanie znacznie poprawić współczynnik wygranych botów w porównaniu z bardziej tradycyjnymi podejściami opartymi na Monte Carlo Tree Search .
mecze
Przeciwko ludzkim graczom, Darkfores2 osiąga stabilny ranking 3d na KGS Go Server , który w przybliżeniu odpowiada zaawansowanemu amatorskiemu graczowi ludzkiemu. Jednak po dodaniu Monte Carlo Tree Search do Darkfores2 w celu stworzenia znacznie silniejszego gracza o nazwie darkfmcts3, może osiągnąć ranking 5d na serwerze KGS Go.
Przeciwko innym AI
darkfmcts3 dorównuje najnowocześniejszym AI Go, takim jak Zen, DolBaram i Crazy Stone, ale pozostaje w tyle za AlphaGo. Zdobył 3 miejsce w styczniu 2016 w turnieju KGS Bot przeciwko innym Go AI.
Pokrycie wiadomości
Po tym , jak AlphaGo firmy Google wygrało z Fan Hui w 2015 roku, Facebook upublicznił projekty sprzętu AI, a także udostępnił kod DarkForest jako open-source, a także intensywną rekrutację w celu wzmocnienia zespołu inżynierów AI.
Styl gry
Darkforest używa sieci neuronowej do sortowania 10 100 pozycji na planszy i znalezienia najpotężniejszego następnego ruchu. Jednak same sieci neuronowe nie mogą się równać z dobrymi amatorami lub najlepszymi wyszukiwarkami Go, dlatego Darkfores2 łączy podejście oparte na sieciach neuronowych z maszyną opartą na wyszukiwaniu. Baza danych 250 000 prawdziwych gier Go została wykorzystana przy tworzeniu Darkforest , z czego 220 000 wykorzystano jako zestaw treningowy, a resztę wykorzystano do przetestowania zdolności sieci neuronowej do przewidywania kolejnych ruchów rozgrywanych w prawdziwych grach. Dzięki temu Darkforest może dokładnie ocenić globalny stan planszy, ale lokalna taktyka wciąż była słaba. Wyszukiwarki internetowe mają słabą ocenę globalną, ale są dobre w taktyce lokalnej. Połączenie tych dwóch podejść jest trudne, ponieważ silniki wyszukiwania działają znacznie szybciej niż sieci neuronowe, problem, który został rozwiązany w Darkfores2 poprzez uruchamianie procesów równolegle z częstą komunikacją między nimi.
Konwencjonalne strategie
Gra go zazwyczaj polega na analizie pozycji kamieni na planszy. Niektórzy zaawansowani gracze opisali to jako granie w jakiejś części podświadomie. W przeciwieństwie do szachów i warcabów, gdzie gracze AI mogą po prostu patrzeć dalej na ruchy niż ludzie, ale w każdej rundzie Go ma średnio 250 możliwych ruchów, takie podejście jest nieskuteczne. Zamiast tego sieci neuronowe kopiują ludzką grę, szkoląc systemy AI na obrazach udanych ruchów, sztuczna inteligencja może skutecznie nauczyć się interpretować wygląd planszy, jak robi to wielu arcymistrzów. W listopadzie 2015 roku Facebook zademonstrował połączenie MCTS z sieciami neuronowymi, które bawiły się stylem „czującym się ludzkim”.
Wady
Zauważono, że Darkforest wciąż ma wady w swoim stylu gry. Czasami bot bezsensownie gra tenuki ("przenieś się gdzie indziej"), gdy wymagane są lokalne potężne ruchy. Gdy bot przegrywa, zachowuje się jak MCTS, gra złe ruchy i więcej przegrywa. Zespół Facebook AI uznał je za obszary, które można w przyszłości ulepszyć.
Architektura programu
Rodzina programów komputerowych Darkforest go opiera się na splotowych sieciach neuronowych . Najnowsze osiągnięcia w Darkfmcts3 połączyły konwolucyjne sieci neuronowe z bardziej tradycyjnym wyszukiwaniem drzewa metodą Monte Carlo . Darkfmcts3 to najbardziej zaawansowana wersja Darkforest, która łączy najbardziej zaawansowaną architekturę konwolucyjnych sieci neuronowych Facebooka z Darkfores2 z wyszukiwaniem drzewa Monte Carlo .
Darkfmcts3 opiera się na splotowych sieciach neuronowych, które przewidują kolejne k ruchów na podstawie aktualnego stanu gry. Traktuje tablicę jako obraz 19x19 z wieloma kanałami. Każdy kanał reprezentuje inny aspekt informacji o planszy w oparciu o określony styl gry. W przypadku standardowego i rozszerzonego odtwarzania dostępnych jest odpowiednio 21 i 25 różnych kanałów. W standardowej grze wolności każdego gracza są reprezentowane jako sześć kanałów binarnych lub płaszczyzn. Odpowiednia płaszczyzna jest prawdziwa, jeśli gracz ma do dyspozycji jedną, dwie, trzy lub więcej wolności. Ko (tj. nielegalne ruchy) jest reprezentowane jako jedna płaszczyzna binarna. Umieszczenie kamienia dla każdego przeciwnika i puste pozycje na planszy są reprezentowane jako trzy płaszczyzny binarne, a czas od umieszczenia kamienia jest przedstawiany jako liczby rzeczywiste na dwóch płaszczyznach, po jednej dla każdego gracza. Wreszcie, ranga przeciwników jest reprezentowana przez dziewięć płaszczyzn binarnych, gdzie jeśli wszystkie są prawdziwe, gracz jest na poziomie 9d, jeśli 8 jest prawdą, na poziomie 8d i tak dalej. Gra rozszerzona dodatkowo uwzględnia granicę (płaszczyznę binarną, która jest prawdziwa na granicy), maskę pozycji (reprezentowaną jako odległość od środka planszy, tj. gdzie jest liczbą rzeczywistą na pozycji) oraz terytorium każdego gracza (binarne, na podstawie którego gracza, do którego lokalizacja jest bliżej).
Darkfmct3 wykorzystuje 12-warstwową w pełni splotową sieć o szerokości 384 węzłów bez współdzielenia wagi lub łączenia. Po każdej warstwie splotowej następuje wyprostowana jednostka liniowa , popularna funkcja aktywacji głębokich sieci neuronowych. Kluczową innowacją Darkfmct3 w porównaniu z poprzednimi podejściami jest to, że wykorzystuje tylko jedną funkcję softmax do przewidywania następnego ruchu, co umożliwia podejście do zmniejszenia ogólnej liczby parametrów. Darkfmct3 został przeszkolony w 300 losowo wybranych grach z empirycznego zbioru danych reprezentujących różne etapy gry. Szybkość uczenia się została określona przez waniliowe stochastyczne opadanie gradientowe .
Darkfmct3 synchronicznie łączy splotową sieć neuronową z przeszukiwaniem drzewa metodą Monte Carlo . Ponieważ splotowa sieć neuronowa obciąża obliczenia, wyszukiwanie drzewa Monte Carlo koncentruje się na bardziej prawdopodobnych trajektoriach rozgrywki. Uruchamiając sieć neuronową synchronicznie z przeszukiwaniem drzewa Monte Carlo, można zagwarantować, że każdy węzeł jest rozszerzany o ruchy przewidywane przez sieć neuronową.
Porównanie z innymi systemami
Darkfores2 pokonuje Darkforest , swojego poprzednika obsługującego wyłącznie sieć neuronową, w około 90% przypadków i Pachi, jedną z najlepszych wyszukiwarek, w około 95% przypadków. W systemie ocen Kyu Darkforest ma poziom 1-2d. Darkfores2 osiąga stabilny poziom 3D na KGS Go Server jako bot rankingowy. Dzięki dodanemu wyszukiwaniu w drzewie Monte Carlo , Darkfmcts3 z 5000 wdrożeń pokonuje Pachi z 10 tys. wdrożeń we wszystkich 250 grach; przy 75 tys. wdrożeń osiąga stabilny poziom 5d na serwerze KGS, na równi z najnowocześniejszymi AI Go (np. Zen, DolBaram, CrazyStone); dzięki 110 tys. wjazdów zdobył 3. miejsce w styczniowym turnieju KGS Go.