Modele predykcyjne bazują na danych historycznych i opierają się na pewnych założeniach, które nie muszą sprawdzać się w rzeczywistości. Nassim Taleb, pisząc o czarnych łabędziach, słusznie podkreślał, że nawet najlepsze dane nie mogą uchronić przed nieprzewidywalnymi zdarzeniami.
Panuje powszechne przekonanie, że systemy sztucznej inteligencji stanowią receptę na problemy biznesowe, których człowiek nie jest w stanie rozwiązać. Coraz częściej rzeczywiście tak jest, jednakże musimy pamiętać, że nawet najbardziej zaawansowany model oparty na uczeniu maszynowym czy głębokim jest nadal tylko narzędziem, którego działanie wymaga zweryfikowania w praktyce. To zresztą jedna z podstawowych zasad, która powinna towarzyszyć każdemu przedsięwzięciu związanemu z wykorzystaniem AI – „ufaj, ale kontroluj”. Kontrola, monitoring i nadzór stanowią bardzo ważny aspekt często pomijanego zespołu praktyk usprawniających komunikację MLOps czy AIOps, służących do operacjonalizacji systemów wykorzystujących AI. Wdrożenie odpowiednich rozwiązań pozwoli na wykrywanie incydentów i reagowanie na nie, ale także utrzymywanie wykorzystywanych modeli (nie tylko predykcyjnych) w dobrym stanie, unikając tym samym utraty w czasie ich wartości (lub przynajmniej ograniczając ich skalę) dla organizacji czy klientów. Jest to tzw. model decay.
AI WYMAGA OPIEKI
Wspomniane w artykule zjawisko inercji algorytmicznej jest dość częstym problemem w tych organizacjach, które przyjmują podejście, że raz stworzony model AI nie wymaga „zaopiekowania” w cyklu życia lub że ingerencja w niego jest potrzebna tylko w ostateczności – wtedy gdy wystąpi naprawdę poważny problem. Tymczasem każdy model powinien podlegać dodatkowo okresowej weryfikacji i walidacji, w szczególności pod kątem jego adekwatności do rzeczywistości, w której jest wykorzystywany. Jeżeli korzystamy z danych historycznych, które nie odzwierciedlają już dzisiejszej rzeczywistości (np. struktury społecznej czy zachowań konsumentów), to taki model już na starcie możemy uznać za „śmieciowy” – w myśl zasady „garbage in, garbage out”. Boleśnie przekonał się o tym w swoim czasie Amazon, tworząc eksperymentalne narzędzie rekrutacyjne oparte na algorytmach AI, które dyskryminowało kobiety podczas rekrutacji na stanowiska techniczne. Jakość danych ma bowiem kolosalne znaczenie, a jakość to nie tylko ograniczona liczba błędów czy adekwatność, ale także kwestia aktualności danych. Każda organizacja powinna samodzielnie dokonać oceny tego, co oznaczają dla niej dane dobrej jakości, i wyznaczyć ogólne podejście, np. w formie odpowiedniej polityki.
