"Ponieważ uczenie maszynowe staje się wszechobecne i jest używane w aplikacjach z poważniejszymi konsekwencjami, ludzie muszą zrozumieć, w jaki sposób tworzy się prognozy, aby mogli zaufać, gdy robi to więcej niż wyświetlanie reklam" - mówi Jonathan Su, członek personelu technicznego w grupie MIT Lincoln Laboratory ds. informatyki i wspomagania decyzji.
Obecnie naukowcy wykorzystują techniki post hoc lub model interpretowalny, taki jak drzewo decyzyjne, aby wyjaśnić, w jaki sposób kończy się model czarnej skrzynki. W przypadku technik post hoc naukowcy obserwują wejścia i wyjścia algorytmu, a następnie próbują zbudować przybliżone wyjaśnienie tego, co działo się wewnątrz czarnej skrzynki. Problem z tą metodą polega na tym, że naukowcy mogą jedynie zgadywać w wewnętrznych działaniach, a wyjaśnienia często mogą być błędne. Drzewa decyzyjne, które mapują wybory i ich potencjalne konsekwencje w konstrukcji drzewiastej, dobrze się sprawdzają w kategoriach danych, których cechy są znaczące, ale te drzewa nie są interpretowalne w ważnych domenach, takich jak wizja komputera i inne złożone problemy z danymi.
Sieć neuronowa jest systemem komputerowym złożonym z wielu połączonych elementów przetwarzających. Sieci te są zwykle używane do analizy obrazu i rozpoznawania obiektów. Na przykład, można nauczyć algorytmu rozpoznawania, czy zdjęcie zawiera psa, gdy najpierw pokazano mu zdjęcia psów. Naukowcy twierdzą, że problem z tymi sieciami neuronowymi polega na tym, że ich funkcje są nieliniowe i rekursywne, a także skomplikowane i mylące dla ludzi, a wynikiem końcowym jest to, że trudno jest określić, co dokładnie sieć zdefiniowała jako "psią" na zdjęciach. i co doprowadziło go do tego wniosku.
Aby rozwiązać ten problem, zespół opracowuje to, co nazywa "prototypowymi sieciami neuronowymi". Różnią się one od tradycyjnych sieci neuronowych tym, że w naturalny sposób kodują wyjaśnienia dla każdej z ich prognoz, tworząc prototypy, które są szczególnie reprezentatywnymi częściami obrazu wejściowego. Sieci te dokonują swoich przewidywań na podstawie podobieństwa części obrazu wejściowego do każdego prototypu.
Innym obszarem, który bada zespół badawczy, są BRL, które są mniej skomplikowanymi, jednostronnymi drzewami decyzyjnymi, które są odpowiednie dla danych tabelarycznych i często równie dokładne, jak inne modele. BRL składają się z sekwencji instrukcji warunkowych, które naturalnie tworzą model interpretowalny. Na przykład, jeśli ciśnienie krwi jest wysokie, ryzyko wystąpienia chorób serca jest wysokie. Su i współpracownicy używają właściwości BRL, aby umożliwić użytkownikom wskazanie, które funkcje są ważne dla prognozy. Opracowują również interaktywne BRL, które można natychmiast dostosować, gdy nowe dane są dostarczane, a nie rekalibrowane od zera na stale rosnącym zestawie danych.
Su wyjaśnia: "Mamy nadzieję, że zbudujemy nowe strategiczne możliwości algorytmów uczenia maszynowego, które ludzie ufają, ponieważ je rozumieją."
