Streszczenie: Technologiczni giganci, jak Facebook i Google, często skupiają się na usuwaniu obraźliwych treści, zamiast zapobiegać ich powstawaniu. Michał Wroczyński, twórca platformy Samurai Labs, zaprezentował innowacyjne podejście, które kładzie nacisk na prewencję, a nie tylko reakcję. Jego systemy bazują na lingwistyce, a nie jedynie na statystyce, co pozwala na dokładniejsze zrozumienie kontekstu wypowiedzi. Dzięki temu możliwe jest skuteczniejsze wykrywanie mowy nienawiści, której tradycyjne systemy, oparte na analizie słów kluczowych, nie są w stanie wychwycić. Wroczyński, który ma doświadczenie w pracy nad projektami sztucznej inteligencji, takimi jak system CERBER, opracował nowatorskie rozwiązania, które zmieniają sposób radzenia sobie z hejtem w internecie.
Technologiczni giganci, tacy jak Facebook czy Google, zajmują się usuwaniem obraźliwych treści, zamiast zapobiegać ich powstawaniu. Zdaniem Michała Wroczyńskiego, twórcy Samurai Labs, platformy walczącej z przemocą w sieci za pomocą sztucznej inteligencji, ważniejsze niż likwidacja szkód jest zapobieganie. Jego rozwiązanie – w odróżnieniu od dominujących trendów – nie opiera się na modelu statystycznym, a na lingwistyce.
Internet nie tylko „zmniejszył świat”, ale go dodatkowo „rozgadał”. Dzięki globalnej sieci komunikujemy się ze sobą. Mieszkaniec Hongkongu może spokojnie i szybko komunikować się z obywatelem USA. Z cyfrowej komunikacji korzystają także niemal wszystkie firmy. Niestety, możliwość wymiany myśli i opinii ma też swoją mroczną stronę: hejt. Mowa nienawiści to realne straty – nie tylko wizerunkowe – dla wielu biznesów.
Wirtualny hejt, realne straty
Ilu klientów straci firma X, jeśli na jej facebookowym profilu użytkownicy będą obrażani? Jak prowadzić firmowe konto na Twitterze, zdobywając nowych zainteresowanych, nie tonąc zarazem w bagnie nienawistnych komentarzy? Czy otwierać się na pełną komunikację, wiedząc, że poza potencjalnymi klientami trafimy na trolli? Jak walczyć z firmami, które żyją z hejtu?
To poważne pytania dzisiejszego biznesu. Okazuje się, że mowa nienawiści jest do pokonania. Potrzeba tylko dobrej woli i technologii. Oto historia biznesu znad Wisły, który może ugasić ten palący problem cyfrowego świata.
Student medycyny, który lubił język
Kwestiami języka i sztucznej inteligencji Michał Wroczyński zajmuje się już od lat 90. Jeszcze jako student medycyny założył koło sieci neuronowych. Gdy internet w Polsce dopiero się rozwijał i kojarzył z Neostradą, pracował nad automatycznymi czatami. Następnie we współpracy z Komendą Stołeczną Policji opracował system CERBER, służący do wychwytywania aktywności pedofilskiej na czatach.
„System CERBER był w pełni zautomatyzowany. Bot »prowadził« rozmowy i gdy trafiał na użytkownika, którego sposób komunikacji wskazywał, że może być pedofilem, wtedy do rozmowy dołączał człowiek. Skuteczność typowania pedofilów przez sztuczną inteligencję była na poziomie 90%. Sukces CERBERA sprawił, że nawiązaliśmy współpracę z Interpolem, a sam zrozumiałem, że metoda, którą wynaleźliśmy, jest właściwa” – opowiada Michał.
Więcej niż deep learning
Kolejnym krokiem w pracach nad technologią był ISPAD – system wykrywający agresję w Internecie. Kluczowe patenty stanowiące podwalinę obecnie rozwijanej technologii firma Wroczyńskiego uzyskała w Stanach Zjednoczonych. Doświadczenia wyniesione z Doliny Krzemowej pozwoliły na stworzenie Samurai Labs.
Na czym polega innowacja? Chodzi o zupełnie nowe podejście do rozumienia wypowiedzi. Prosta analiza danych może prowadzić do nadinterpretacji i przeregulowania. Standardowe sposoby analizy danych opierają się na metodach statystycznych i technologiach, takich jak deep learning i machine learning.
Czytanie bez zrozumienia
Systemy te (stosowane właśnie przez technologicznych gigantów) wykrywają wulgarne czy nieodpowiednie słowa, skupiając się na analizie słów kluczowych. Dla tego rodzaju sztucznej inteligencji zdanie: „Szkoda, że twoja matka nie zrobiła aborcji”, nie jest obraźliwe. Każde z użytych słów – „szkoda”; „matka”, „robić”, „aborcja” – nie jest obraźliwe.
Z drugiej strony taki tradycyjny system uzna za niewłaściwe np.: zdanie: „Rządowy program migracyjny jest gówniany. Nie ma planów ani pomysłów”, ponieważ obok siebie pojawi się słowo „migracja” i „gówno”, chociaż kontekstowo zdanie nie obraża, jest opinią dotyczącą działania rządu w zakresie problemu migracyjnego. Problemem tego systemu jest alarmizm: mówi, że jest mowa nienawiści, choć jej nie ma. Z drugiej strony zostawia takie wyrażenia, które faktycznie obrażają innych.
Chcesz zarabiać? Usuń hejt!
Jednym z segmentów, w których testuje się najnowsze rozwiązania AI dotyczące walki z mową nienawiści, jest e‑sport. Streaming rozgrywek to wielki biznes, który będzie tylko rosnąć (szacuje się, że w roku 2022 branża e‑sportowa osiągnie pułap 1,8 mld dol.). Wszystkim zależy więc, żeby liczba obserwujących czy współgrających nie spadała.
„Z naszych badań wynika, że blisko 22% użytkowników gier sieciowych opuszcza rozgrywkę, gdy jest słownie atakowana. A to realna strata dla dostawcy gry! Jeśli zablokujemy hejt, to zatrzymamy kasę dla firmy. To proste – mówi Michał i wyjaśnia sam mechanizm. – W większości gier działa publiczny czat, za pomocą którego komunikują się gracze czy oglądający. Nasz system działa na dwa sposoby. Albo publicznie upomina wulgarnego użytkownika, albo blokuje konkretną, niewłaściwą wypowiedź. Mowa nienawiści analizowana jest w czasie rzeczywistym. Dopiero gdy upomnienia nie zadziałają, to dany »napastnik« jest usuwany z gry” – opowiada Michał.
Epidemia hejtu
Podobne mechanizmy sprawdzą się nie tylko w e‑rozrywce. W czasie „epidemii hejtu” niemal każdemu zależy na walce z patologicznymi użytkownikami (no, chyba że ktoś zarabia na fałszywych i wulgarnych wypowiedziach). Mowa nienawiści to realny problem społeczny, który odciska piętno na życiu nastolatków, świecie polityki czy funkcjonowaniu firm.
Samurai Labs przygotowało mechanizm walczący z mową nienawiści na popularnym forum amerykańskim, gdzie udało się zmniejszyć hejt o 40%. Miarą sukcesu systemu było zaproszenie go do roli moderatora – to nie tylko gratyfikacja, ale potwierdzenie przejścia testu Turinga.
Od testu Turinga….
Firma Michał Wroczyńskiego od pewnego czasu współpracuje z Hate Lab, brytyjską firmą gromadzącą dane na temat mowy nienawiści. Badania przeprowadzone przez Samurai Labs wykazały, że 5% materiałów opublikowanych w mediach społecznościowych na temat Polaków w Wielkiej Brytanii ma negatywne lub obraźliwe konotacje. Algorytm Samurai Labs ma automatycznie analizować publikowane w nich treści, a w razie potrzeby blokować je i raportować do administratorów odpowiadających za dany portal czy serwis. Bez udziału człowieka.
Większość systemów wciąż opiera się na moderacji człowieka. Polega to na tym, że zgłoszony przez sztuczną inteligencję post, komentarz bądź wypowiedź analizowane są przez moderatora i usuwane. Czasami trwa to nawet 48 godzin, a w internecie to wieczność, tym bardziej że można zrobić screeny. Według idei Samurai Labs taki hejt nawet się nie pojawi, zostanie usunięty przed publikacją, a wszystkim zajmie się sztuczna inteligencja.
…do Tindera
„Jesteśmy na etapie testów w warunkach rzeczywistych i rozwoju naszego produktu. W najbliższym czasie planujemy przetestować rozwiązanie z naprawdę dużym partnerem. Możliwości jest wiele, poczynając od gamingu, a kończąc na aplikacjach randkowych. Tinder podaje, że spora część kobiet rezygnuje z korzystania z aplikacji, ponieważ spotyka się z przemocą słowną czy molestowaniem na tle seksualnym. Nasze rozwiązanie mogłoby blokować takie treści. Użytkowniczka nawet by nie zauważyła, że ktoś napisał do niej nieodpowiednią wiadomość lub zhejtował. Sam agresor dostałby stosowne ostrzeżenie” – opowiada Michał.
Mowa nienawiści: płynna granica
Oczywiście, takie działanie może kojarzyć się z cenzurą. Kryteria „obraźliwe czy dopuszczalne” jest płynna. Tu dużą rolę odgrywa sama społeczność. To, co w świecie gier komputerowych jest dopuszczalne, w aplikacji randkowej może być uznane za bardzo niestosowne. Rozwiązanie Samurai Labs dostosowuje się do danej społeczności i doskonale „rozumie”, co wypada, a czego nie wypada powiedzieć.
Na szczęście sztuczna inteligencja wciąż pozbawiona jest własnych poglądów i uprzedzeń, a w świecie, gdzie nie istnieją w pełni uniwersalne i idealne rozwiązania, wydaje się to najbardziej słusznym rozwiązaniem. Co więcej, użytkownik mógłby świadomie zdecydować, czy chce „wyłączyć” tego typu treści.
Gdzie w tym wszystkim jest Dolina Krzemowa?
W ubiegłym roku przesłuchiwany przez senackie komisje Mark Zuckerberg stwierdził, że Facebook potrzebuje aż 5 do 10 lat, żeby zbudować narzędzie AI umiejące sprawnie wychwytywać w postach niuanse językowe. Dziś nad bezpieczeństwem użytkowników platformy czuwa ponad 30 tys. osób, które wspierają automatyczne narzędzia do wyławiania i usuwania niepożądanych treści. Dlaczego giganci nie potrafią robić tego, co udało się Michałowi Wroczyńskiemu?
„Długo się nad tym zastanawiałem, dlaczego my to robimy, a giganci nie. Wydaje mi się, że wynika to z tego, że u Facebooka czy Google’a dominuje typowa dla wschodniego wybrzeża logika biznesowo‑technologiczna. Oni chcą zawsze robić rozwiązania uniwersalne, a język tak nie działa. To, co sprawdzi się w przypadku języka angielskiego, nie zadziała w przypadku języka polskiego czy japońskiego. Te języki mają inną gramatykę, a to kwestia budowy zdania jest kluczowa” – wyjaśnia Michał.
Czego nie rozumie native speaker
„Wpadliśmy na ten pomysł, bo… nie jesteśmy natywnymi użytkownikami języka angielskiego, mamy doświadczenie w nauce języka obcego. Uczymy więc system języka, tak jak sami uczyliśmy się w szkole, czyli z książek. Native speaker angielskiego nie myśli nad gramatyką, uczy naturalnie, poprzez naśladownictwo i powtarzanie. Tak też działa standardowa sztuczna inteligencja, tyle że zamiast naśladownictwa i powtarzania jest analiza słów. Nasze rozwiązanie opiera się na »książkowej« nauce języka obcego: jak budować zdania, znaczenia, układać konstrukcje ze słów” – tłumaczy CEO Samura Labs.
Noam Chomsky miał rację?
Metoda proponowana przez Samurai Labs wpisuje się w trend tzw. trzeciej fali sztucznej inteligencji (wg. klasyfikacji DARPA), która nie opiera się już wyłącznie na uczeniu statystycznym, ale także na wnioskowaniu na podstawie wiedzy językowej i eksperckiej. W kwestii rozumienia języka jest to powrót do idei, którą już w latach 50. i 60. głosił wybitny językoznawca Noam Chomsky, współtwórca gramatyki transformacyjno‑generatywnej. W wywiadzie dla magazynu „The Atlantic” w 2012 roku przekonywał, że rozwój AI poszedł w niewłaściwą stronę, ignorując wiedzę o tym, jak działa język.
„W świecie nowych technologii funkcjonuje wiele przekłamań i szkodliwych przekonań. W Dolinie Krzemowej wciąż zbyt dużą wiarę pokłada się w metody statystyczne, twierdząc, że machine learning jest w stanie rozwiązać wszelkie problemy. Oczywiście tego typu rozwiązania świetnie sprawdzają się w rozpoznawaniu obrazów czy tworzeniu modeli zakupowych, ale w kwestiach humanistycznych już nie do końca. Dlatego też w segmencie healthcare czy właśnie w dziedzinie rozumienia języka naturalnego szuka się nowych rozwiązań” – wyjaśnia Michał.
Kontekst ma znaczenie
Rozwiązania proponowane przez Samurai Labs, oparte na contextual models, kontestują metody, na których opiera się współczesna sztuczna inteligencja, ale ich celem nie jest żadna rewolucja. Celem na przyszłość – a może i marzeniem – jest uczynienie internetu bezpiecznym, gdzie każda społeczność może chronić swoje wartości i sposoby komunikacji. Bez hejtu czy przemocy słownej.
„Chętnie chronimy przed atakami nasze komputery i smartfony, zabezpieczamy się przed wirusami i złośliwym oprogramowaniem, a wciąż tak mało myślimy o cyberprzemocy. A to duże i nieustannie rosnące zagrożenie. Nie znam osoby aktywnej w internecie, której choć raz nie dotknęła mowa nienawiści czy przemoc słowna” – komentuje Michał.
Problem, który dopiero zauważamy
Według fundacji i‑SAFE ponad połowa młodzieży była nękana w sieci. Cyberbullying Research Center podaje, że 10‑20% nastolatków doświadcza tego regularnie. Z analizy Harford County Examiner wynika, że tylko 1 na 10 dzieci przyznaje się rodzicom, iż padło ofiarą cybernękania. Z mową nienawiści jest podobnie. Trzeba rozumieć, jak działa świat mediów społecznościowych, żeby wiedzieć, co tak naprawdę jest obraźliwe. Dziś można kogoś obrazić bądź zaatakować bez użycia słów powszechnie używanych za wulgarne.
Można szantażować i grozić w sposób tak zawoalowany, że oszuka się każdy, nawet najlepszy model statystyczny. Są dziesiątki synonimów oraz innych sposobów maskowania nienawiści skierowanej w stronę różnych grup społecznych. Gdy ktoś chce kogoś obrazić, to okazuje się, że kreatywność nie zna granic, dlatego tylko rozwiązania oparte na III fali sztucznej inteligencji mają szansę rozpoznać i przeciwdziałać tego typu zagrożeniom.
Hejt. Eufemizmy, metafory, aliteracje
„Mam dla ciebie solidny sznur i całkiem przyjemne drzewo” brzmi niewinnie tylko dla komputera. Albo dla kogoś pozbawionego elementarnych zdolności językowych. Jednak to czysty hejt.
A wcale nie będzie łatwiej. Trzeba rozumieć, jak działa społecznościowy świat, żeby wiedzieć, co tak naprawdę jest obraźliwe. Dziś można kogoś obrazić lub zaatakować bez użycia słów powszechnie używanych za wulgarne czy bez gróźb. Istnieją dziesiątki synonimów oraz innych sposobów maskowania nienawiści skierowanej w stronę różnych grup społecznych. Gdy ktoś chce kogoś obrazić, to okazuje się nierzadko, że kreatywność nie ma granic**.**
Eufemizmy, metafory, aliteracje – standardowe rozwiązania sztucznej inteligencji już sobie z tym nie radzą. Nie potrzeba jednak tutaj poetów czy (tylko) lingwistów, wystarczy programista, który faktycznie rozumie, że „granice języka są granicami świata”, jak to mawiał Ludwig Wittgenstein.
