Piotr Migdał: Tay.ai jest jak dziecko - powtarza bez zrozumienia

Opracowane i uruchomione przez Microsoft na Twitterze AI konwersacyjne Tay.ai (przez twórców opisywane w rodzaju żeńskim) było skierowane do amerykańskiej młodzieży w przedziale wiekowym od 18 do 24 lat. Wzorem dla Tay był podobny, udany wcześniejszy projekt Microsoftu w Chinach, gdzie z botem XiaoIce dyskutuje ok. 40 mln osób.

W wyniku działań grupy użytkowników, przez Microsoft nazywanych skoordynowanym atakiem wykorzystującym słabość programu, Tay zaczęła niezamierzenie powtarzać krzywdzące wypowiedzi - m.in. rasistowskie i seksistowskie, np. "Hitler did nothing wrong" ("Hitler nie zrobił nic złego").

"Chatbot Tay.ai ma coś wspólnego z niewinnym dzieckiem - powtarza to, co słyszy, nieraz bez zrozumienia. I bywa, że ku ogólnej konsternacji" - powiedział w rozmowie z PAP Technologie dr Piotr Migdał, data scientist w firmie deepsense.io. Jego zdaniem "nie znaczy to ani, że został zaprogramowany w rasistowski sposób, ani tym bardziej, że objawił prawdy, o których inni woleliby milczeć". Jak podkreśla, wiele to mówi jednak o tym, że algorytmy uczące się na danych są przez nie kształtowane.

W internecie nie brakuje zarówno osób o poglądach, które uznalibyśmy za odrażające, jak i trolli - żartownisi, którzy chętnie podpuszczą takiego bota np. do wypowiedzi wychwalających Hitlera. I dokładnie na takich danych nauczył się złych rzeczy" - dodał.

Po 24 godzinach pracownicy Microsoftu zaczęli kasować niepożądane tweety i wyłączyli bota z zamiarem ponownego uruchomienia go dopiero wtedy, gdy upewnią się, że podobny incydent się nie powtórzy. Zamieścili również na stronie firmy przeprosiny dla osób, które mogły poczuć się dotknięte wpisami Tay.ai. "Systemy AI czerpią zarówno z pozytywnych, jak i negatywnych interakcji z ludźmi. Ze względu na to wyzwania związane z pracami nad nimi są w równej mierze natury społecznej i technicznej" - napisał w oświadczeniu Peter Lee, wiceprezes Microsoft Research. "Wytrwale czerpiemy naukę z tego i innych doświadczeń, starając się wypracować wkład w Internet, który oddawałby to, co najlepsze, nie zaś najgorsze cechy ludzkości" - zapowiedział.

Microsoft pracuje teraz nad wyeliminowaniem słabości, która w atmosferze skandalu pogrążyła Tay.ai. Pracownicy firmy podkreślają, że przed uruchomieniem bota przeprowadzili wewnętrzne testy i uwzględnili rozmaite zabezpieczenia oraz mechanizmy filtrujące, mające uczynić kontakt z Tay możliwie pozytywnym doświadczeniem. Nie przygotowali się jednak na złośliwe działania, z jakimi spotkali się na Twitterze.

"Warto pamiętać, że skala danych, na jakich takie boty są uczone jest taka, że niemożliwe jest przejrzenie tego przez człowieka i cenzurowanie nieodpowiednich kawałków" - mówi Migdał. "Być może wystarczyłoby śledzić, czy przypadkiem program nie generuje zdań zawierających wyrazy takie jak +kill+ [zabić] czy +hate+ [nienawidzić] - jeżeli tak, jest spora szansa, że wypowiedzi nie są najmilsze. Szkoda, że Microsoft kasuje obraźliwe wpisy - powinny pozostać jako przestroga, że neutralny algorytm uczący się na wypowiedziach ludzi nie pozostanie neutralny" - dodaje.

Przypadek Tay.ai nie jest pierwszym podobnym zdarzeniem w historii algorytmów uczących się na danych. Migdał przypomina, że jeszcze kilka lat temu Google w miejsce wyszukania "white people stole my car" automatycznie - na podstawie częstości występowania fraz - podpowiadało zamiast tego: "black people stole my car". Wówczas ta konkretna autosugestia szybko została zablokowana. Do teraz jednak popularna wyszukiwarka uzupełnia pytanie "how do I convert to" (po ang. "jak mogę zmienić") nonsensowną sugestią: "PDF religion".

Mateusz Kominiarczuk (PAP Technologie)

mk/ jbr/