Wyjaśnialna sztuczna inteligencja - Explainable artificial intelligence

Explainable AI ( XAI ) to sztuczna inteligencja (AI), w której wyniki rozwiązania mogą być zrozumiane przez ludzi. Kontrastuje to z koncepcją „ czarnej skrzynki ” w uczeniu maszynowym, gdzie nawet jego projektanci nie potrafią wyjaśnić, dlaczego sztuczna inteligencja podjęła konkretną decyzję. XAI może być realizacją społecznego prawa do wyjaśnienia . XAI ma znaczenie, nawet jeśli nie ma prawa lub wymogu regulacyjnego — na przykład XAI może poprawić wrażenia użytkownika produktu lub usługi, pomagając użytkownikom końcowym zaufać, że sztuczna inteligencja podejmuje dobre decyzje. W ten sposób celem XAI jest wyjaśnienie, co zostało zrobione, co zostało zrobione w tej chwili, co zostanie zrobione dalej i ujawnienie informacji, na których opierają się działania. Cechy te umożliwiają (i) potwierdzanie istniejącej wiedzy (ii) kwestionowanie istniejącej wiedzy oraz (iii) generowanie nowych założeń.

Algorytmy stosowane w sztucznej inteligencji można podzielić na białoskrzynkowe i czarnoskrzynkowe algorytmy uczenia maszynowego (ML). Modele białoskrzynkowe to modele ML, które zapewniają wyniki zrozumiałe dla ekspertów w danej dziedzinie. Z drugiej strony modele czarnoskrzynkowe są niezwykle trudne do wytłumaczenia i trudno je zrozumieć nawet ekspertom dziedzinowym. Uważa się, że algorytmy XAI są zgodne z trzema zasadami: przejrzystości, interpretacji i wyjaśnialności. Przejrzystość jest zapewniona „jeśli procesy, które wyodrębniają parametry modelu z danych uczących i generują etykiety z danych testowych, mogą zostać opisane i zmotywowane przez projektanta podejścia”. Interpretowalność opisuje możliwość zrozumienia modelu ML i przedstawienia podstaw podejmowania decyzji w sposób zrozumiały dla ludzi. Wyjaśnialność to pojęcie uznawane za ważne, ale wspólna definicja nie jest jeszcze dostępna. Sugeruje się, że wyjaśnialność w ML może być uważana za „zbiór cech dziedziny możliwej do interpretacji, które przyczyniły się dla danego przykładu do podjęcia decyzji (np. klasyfikacja lub regresja)”. Jeśli algorytmy spełniają te wymagania, stanowią podstawę do uzasadniania decyzji, śledzenia ich, a tym samym weryfikowania, ulepszania algorytmów i odkrywania nowych faktów.

Czasami możliwe jest również uzyskanie wyniku z dużą dokładnością za pomocą algorytmu białoskrzynkowego ML, który sam w sobie jest interpretowalny. Jest to szczególnie ważne w dziedzinach takich jak medycyna, obrona, finanse i prawo, gdzie kluczowe jest zrozumienie decyzji i budowanie zaufania do algorytmów.

Systemy sztucznej inteligencji optymalizują zachowanie, aby spełnić określony matematycznie system celów wybrany przez projektantów systemu, taki jak polecenie „maksymalizacja dokładności oceny pozytywnych recenzji filmów w zestawie danych testowych”. Sztuczna inteligencja może nauczyć się przydatnych ogólnych zasad z zestawu testowego, takich jak „recenzje zawierające słowo „straszne” prawdopodobnie będą negatywne”. Jednak może również nauczyć się niewłaściwych zasad, takich jak „recenzje zawierające „ Daniela Day-Lewisa ” są zwykle pozytywne”; takie zasady mogą być niepożądane, jeśli uzna się, że nie uda im się uogólnić poza zestawem testowym lub jeśli ludzie uznają zasadę za „oszukującą” lub „niesprawiedliwą”. Człowiek może kontrolować reguły w XAI, aby dowiedzieć się, na ile prawdopodobne jest, że system uogólni na przyszłe dane ze świata rzeczywistego poza zestawem testowym. Jest to szczególnie ważne w przypadku narzędzi AI opracowanych do zastosowań medycznych, ponieważ koszt błędnych prognoz jest zwykle wysoki. XAI może zwiększyć niezawodność algorytmów, a także zwiększyć zaufanie lekarzy.

Cele

Współpraca agentów , w tym przypadku algorytmów i ludzi, zależy od zaufania. Jeśli ludzie mają zaakceptować zalecenia algorytmiczne, muszą im zaufać. Niekompletność w formalizacji kryteriów zaufania stanowi barierę dla prostych podejść optymalizacyjnych. Z tego powodu interpretowalność i wyjaśnialność są traktowane jako cele pośrednie przy sprawdzaniu innych kryteriów.

Systemy sztucznej inteligencji czasami uczą się niepożądanych sztuczek, które optymalnie spełniają wyraźne, wstępnie zaprogramowane cele na danych treningowych, ale które nie odzwierciedlają skomplikowanych ukrytych pragnień projektantów systemów ludzkich. Na przykład system z 2017 r., którego zadaniem było rozpoznawanie obrazów, nauczył się „oszukiwać”, szukając tagu praw autorskich, który akurat był powiązany ze zdjęciami koni, zamiast uczyć się, jak rozpoznać, czy koń rzeczywiście został sfotografowany. W innym systemie z 2017 roku nadzorowana sztuczna inteligencja, której zadaniem było chwytanie przedmiotów w wirtualnym świecie, nauczyła się oszukiwać, umieszczając swój manipulator między obiektem a widzem w taki sposób, że fałszywie wydawało się, że chwyta przedmiot.

Jeden z projektów przejrzystości, program DARPA XAI, ma na celu wytworzenie modeli „szklanego pudełka”, które można wyjaśnić „człowiekiem w pętli”, bez znacznego poświęcania wydajności sztucznej inteligencji. Użytkownicy będący ludźmi powinni być w stanie zrozumieć funkcje poznawcze sztucznej inteligencji (zarówno w czasie rzeczywistym, jak i po fakcie) oraz powinni być w stanie określić, kiedy ufać sztucznej inteligencji, a kiedy należy jej nie ufać. Inne zastosowania XAI to ekstrakcja wiedzy z modeli czarnoskrzynkowych i porównania modeli. Terminu „szklane pudełko” używano również do systemów monitorujących wejścia i wyjścia systemu w celu weryfikacji przestrzegania przez system wartości etycznych i społeczno-prawnych, a tym samym tworzenia wyjaśnień opartych na wartościach. Co więcej, ten sam termin został użyty do nazwania asystenta głosowego, który jako wyjaśnienia tworzy kontrfaktyczne stwierdzenia.

Historia i metody

W latach 70. do 90. badano symboliczne systemy rozumowania, takie jak MYCIN , GUIDON, SOPHIE i PROTOS, które mogły reprezentować, rozumować i wyjaśniać ich rozumowanie w celach diagnostycznych, instruktażowych lub uczenia maszynowego (uczenie się oparte na wyjaśnianiu). MYCIN, opracowany na początku lat 70. jako prototyp badawczy do diagnozowania infekcji bakteriemicznych w krwiobiegu, może wyjaśnić, które z jego ręcznie zakodowanych zasad przyczyniły się do diagnozy w konkretnym przypadku. Badania nad inteligentnymi systemami nauczania pozwoliły opracować systemy, takie jak SOPHIE, które mogą działać jako „ekspert do artykulacji”, wyjaśniając strategię rozwiązywania problemów na poziomie zrozumiałym dla uczniów, aby wiedzieli, jakie działania podjąć w następnej kolejności. Na przykład projekt SOPHIE może wyjaśnić jakościowe rozumowanie stojące za rozwiązywaniem problemów z elektroniką, mimo że ostatecznie opierał się na symulatorze obwodów SPICE . Podobnie, GUIDON dodał reguły samouczka, aby uzupełnić reguły na poziomie domeny MYCIN, aby mogły wyjaśnić strategię diagnozy medycznej. Symboliczne podejścia do uczenia maszynowego, szczególnie te oparte na uczeniu opartym na wyjaśnieniach, takie jak PROTOS, wyraźnie opierały się na reprezentacjach wyjaśnień, zarówno w celu wyjaśnienia ich działań, jak i zdobycia nowej wiedzy.

W latach 80. i wczesnych 90. opracowano systemy utrzymania prawdy (TMS) w celu rozszerzenia możliwości systemów wnioskowania przyczynowego, opartych na regułach i logicznych. TMS działa w celu wyraźnego śledzenia alternatywnych linii rozumowania, uzasadnień wniosków i linii rozumowania, które prowadzą do sprzeczności, umożliwiając przyszłe rozumowanie, aby uniknąć tych ślepych uliczek. Aby zapewnić wyjaśnienie, śledzą rozumowanie od wniosków do założeń poprzez operacje reguł lub wnioskowania logiczne, umożliwiając generowanie wyjaśnień na podstawie śladów rozumowania. Jako przykład rozważ rozwiązanie problemu oparte na regułach z kilkoma zasadami dotyczącymi Sokratesa, które stwierdzają, że umarł od trucizny:

Po prostu prześledząc strukturę zależności, osoba rozwiązująca problem może skonstruować następujące wyjaśnienie: „Sokrates umarł, ponieważ był śmiertelny i pił truciznę, a wszyscy śmiertelnicy umierają, gdy piją truciznę. Sokrates był śmiertelny, ponieważ był mężczyzną i wszyscy ludzie są śmiertelni. Sokrates pił truciznę, ponieważ miał przekonania dysydenckie, rząd był konserwatywny, a ci, którzy mieli konserwatywne przekonania dysydenckie pod konserwatywnymi rządami, muszą pić truciznę”.

W latach 90. naukowcy zaczęli również badać, czy możliwe jest znaczące wyodrębnienie niekodowanych ręcznie reguł generowanych przez nieprzezroczyste wytrenowane sieci neuronowe. Naukowcy zajmujący się klinicznymi systemami eksperckimi, tworzącymi wspomaganie decyzji oparte na sieciach neuronowych dla klinicystów, starali się opracować dynamiczne wyjaśnienia, które pozwolą tym technologiom być bardziej godnymi zaufania i godnymi zaufania w praktyce. W 2010 r. obawy opinii publicznej dotyczące rasistowskich i innych uprzedzeń w wykorzystywaniu sztucznej inteligencji do podejmowania decyzji karnych i ustalania zdolności kredytowej mogły doprowadzić do zwiększonego zapotrzebowania na przejrzystą sztuczną inteligencję. W rezultacie wielu naukowców i organizacji opracowuje narzędzia, które pomagają wykrywać stronniczość w swoich systemach.

Marvin Minsky i in. podniósł kwestię, że sztuczna inteligencja może funkcjonować jako forma nadzoru, z uprzedzeniami nieodłącznie związanymi z nadzorem, sugerując HI (humanistyczną inteligencję) jako sposób na stworzenie bardziej sprawiedliwej i zrównoważonej sztucznej inteligencji „człowieka w pętli”.

Nowoczesne złożone techniki sztucznej inteligencji, takie jak głębokie uczenie i algorytmy genetyczne, są naturalnie nieprzejrzyste. Aby rozwiązać ten problem, opracowano wiele nowych metod, aby nowe modele były bardziej wyjaśnialne i interpretowalne. Obejmuje to wiele metod, takich jak warstwowa propagacja istotności (LRP), technika określania, które cechy w określonym wektorze wejściowym mają największy udział w danych wyjściowych sieci neuronowej. Inne techniki zostały opracowane w celu wyjaśnienia jednej konkretnej prognozy dokonanej przez (nieliniowy) model czarnej skrzynki, cel określany jako „lokalna interpretacja”. Warto zauważyć, że sama transpozycja koncepcji lokalnej interpretacji do odległego kontekstu (gdzie model czarnej skrzynki jest wykonywany przez podmiot trzeci) jest obecnie pod lupą.

Ponadto prowadzono prace nad drzewami decyzyjnymi, zespołami drzew i sieciami bayesowskimi, które są bardziej przejrzyste dla inspekcji. W 2018 roku zorganizowano interdyscyplinarną konferencję o nazwie FAT* (Fairness, Accountability and Transparency) w celu zbadania przejrzystości i wyjaśnialności w kontekście systemów socjotechnicznych, z których wiele obejmuje sztuczną inteligencję.

Niektóre techniki pozwalają na wizualizację wejść, na które poszczególne neurony reagują najsilniej. Kilka grup odkryło, że neurony mogą być agregowane w obwody, które wykonują funkcje zrozumiałe dla człowieka, z których niektóre niezawodnie powstają w różnych sieciach trenowanych niezależnie.

Na wyższym poziomie istnieją różne techniki wyodrębniania skompresowanych reprezentacji cech danych wejściowych, które można następnie analizować za pomocą standardowych technik grupowania. Alternatywnie, sieci mogą być wytrenowane w celu wyprowadzania językowych wyjaśnień ich zachowania, które są następnie bezpośrednio interpretowalne przez człowieka. Zachowanie modelu można również wyjaśnić w odniesieniu do danych uczących — na przykład poprzez ocenę, które dane wejściowe uczące miały największy wpływ na dane zachowanie.

Rozporządzenie

Ponieważ organy regulacyjne, organy urzędowe i zwykli użytkownicy zaczynają polegać na dynamicznych systemach opartych na sztucznej inteligencji, wymagana będzie wyraźniejsza odpowiedzialność w procesach decyzyjnych w celu zapewnienia zaufania i przejrzystości. Dowodem na to, że wymóg ten nabiera coraz większego rozmachu, jest rozpoczęcie pierwszej światowej konferencji poświęconej wyłącznie tej rozwijającej się dyscyplinie, Międzynarodowej Wspólnej Konferencji na temat Sztucznej Inteligencji: Warsztaty na temat Sztucznej Inteligencji, którą można wyjaśnić (XAI).

Unia Europejska wprowadziła prawo do wyjaśnień w ogólnym prawie do ochrony danych (RODO) jako próbę radzenia sobie z potencjalnymi problemami wynikającymi ze wzrostu znaczenia algorytmów. Wdrażanie rozporządzenia rozpoczęło się w 2018 r. Prawo do wyjaśnienia w RODO obejmuje jednak tylko lokalny aspekt interpretacyjności. W Stanach Zjednoczonych firmy ubezpieczeniowe muszą być w stanie wyjaśnić swoje decyzje dotyczące stawek i zakresu ubezpieczenia.

Sektory

XAI był badany w wielu sektorach, w tym:

Bibliografia

Zewnętrzne linki