Streszczenie: Systemy sztucznej inteligencji, choć coraz częściej stosowane w biznesie, nie są niezawodnymi rozwiązaniami na wszystkie problemy. Modele predykcyjne opierają się na danych historycznych i założeniach, które mogą nie odpowiadać aktualnej rzeczywistości. Nawet najbardziej zaawansowane algorytmy wymagają praktycznej weryfikacji i ciągłego nadzoru. Kluczowe jest stosowanie zasad „ufaj, ale kontroluj”, co oznacza konieczność monitorowania i aktualizacji modeli w ramach praktyk takich jak MLOps czy AIOps.
Zjawisko inercji algorytmicznej, polegające na braku regularnej weryfikacji modeli AI, może prowadzić do ich deprecjacji. Przykładem jest przypadek Amazona, gdzie narzędzie rekrutacyjne oparte na AI dyskryminowało kobiety, co wynikało z nieaktualnych danych treningowych. Dlatego organizacje powinny opracować polityki zapewniające jakość danych, uwzględniając ich aktualność i adekwatność do bieżących warunków.
Modele predykcyjne bazują na danych historycznych i opierają się na pewnych założeniach, które nie muszą sprawdzać się w rzeczywistości. Nassim Taleb, pisząc o czarnych łabędziach, słusznie podkreślał, że nawet najlepsze dane nie mogą uchronić przed nieprzewidywalnymi zdarzeniami.
Panuje powszechne przekonanie, że systemy sztucznej inteligencji stanowią receptę na problemy biznesowe, których człowiek nie jest w stanie rozwiązać. Coraz częściej rzeczywiście tak jest, jednakże musimy pamiętać, że nawet najbardziej zaawansowany model oparty na uczeniu maszynowym czy głębokim jest nadal tylko narzędziem, którego działanie wymaga zweryfikowania w praktyce. To zresztą jedna z podstawowych zasad, która powinna towarzyszyć każdemu przedsięwzięciu związanemu z wykorzystaniem AI – „ufaj, ale kontroluj”. Kontrola, monitoring i nadzór stanowią bardzo ważny aspekt często pomijanego zespołu praktyk usprawniających komunikację MLOps czy AIOps, służących do operacjonalizacji systemów wykorzystujących AI. Wdrożenie odpowiednich rozwiązań pozwoli na wykrywanie incydentów i reagowanie na nie, ale także utrzymywanie wykorzystywanych modeli (nie tylko predykcyjnych) w dobrym stanie, unikając tym samym utraty w czasie ich wartości (lub przynajmniej ograniczając ich skalę) dla organizacji czy klientów. Jest to tzw. model decay.
AI WYMAGA OPIEKI
Wspomniane w artykule zjawisko inercji algorytmicznej jest dość częstym problemem w tych organizacjach, które przyjmują podejście, że raz stworzony model AI nie wymaga „zaopiekowania” w cyklu życia lub że ingerencja w niego jest potrzebna tylko w ostateczności – wtedy gdy wystąpi naprawdę poważny problem. Tymczasem każdy model powinien podlegać dodatkowo okresowej weryfikacji i walidacji, w szczególności pod kątem jego adekwatności do rzeczywistości, w której jest wykorzystywany. Jeżeli korzystamy z danych historycznych, które nie odzwierciedlają już dzisiejszej rzeczywistości (np. struktury społecznej czy zachowań konsumentów), to taki model już na starcie możemy uznać za „śmieciowy” – w myśl zasady „garbage in, garbage out”. Boleśnie przekonał się o tym w swoim czasie Amazon, tworząc eksperymentalne narzędzie rekrutacyjne oparte na algorytmach AI, które dyskryminowało kobiety podczas rekrutacji na stanowiska techniczne. Jakość danych ma bowiem kolosalne znaczenie, a jakość to nie tylko ograniczona liczba błędów czy adekwatność, ale także kwestia aktualności danych. Każda organizacja powinna samodzielnie dokonać oceny tego, co oznaczają dla niej dane dobrej jakości, i wyznaczyć ogólne podejście, np. w formie odpowiedniej polityki.
Materiał dostępny tylko dla subskrybentów
Dołącz do subskrybentów MIT Sloan Management Review Polska Premium!
Kup subskrypcję
