Modele predykcyjne mogą nie nadążać za zmianami. Jak się przed tym uchronić?

Organizacje coraz częściej wykorzystują algorytmy analityczne, by wspomagać się przy podejmowaniu błyskawicznych decyzji w dynamicznie zmieniających się okolicznościach. Jednak te wysiłki często spełzają na niczym, niekiedy prowadząc do dramatycznych konsekwencji.

W 2018 roku platforma handlu nieruchomościami Zillow wprowadziła rozwiązanie Zillow Offers, przypominające funkcję „kup teraz”, dzięki któremu można było nabyć wybraną nieruchomość bezpośrednio od Zillow. Do tego celu użyto opracowanego wewnętrznie algorytmu o nazwie Zestimate, który wylicza oczekiwaną cenę sprzedaży danego domu czy mieszkania. Na podstawie tych kalkulacji narzędzie Zillow Offers planowało zakup, remont, a następnie odsprzedaż nieruchomości z zyskiem. I chociaż przez pierwsze kilka lat system ten działał bez zarzutu, to w 2021 roku model nie zdołał dostosować się do nowej dynamiki oraz większej zmienności rynku. W czwartym kwartale ubiegłego roku Zillow straciła średnio 25 tysięcy dolarów na każdym sprzedanym domu, co skutkowało utworzeniem odpisu aktualizującego w wysokości 881 milionów dolarów.

Jest to przykład zjawiska, które nazywamy algorytmiczną inercją (algorithmic inertia). Polega ono na tym, że organizacje korzystają z algorytmów, które mają uwzględniać zmiany w otaczającym je środowisku, jednak ostatecznie za tymi zmianami nie nadążają. W naszym artykule szerzej opisujemy algorytmiczną inercję, wskazujemy jej źródła i proponujemy pewne praktyki, jakie organizacje mogą wdrożyć, by ją przezwyciężyć.

Katastrofa w procedurze ratingu kredytowego

By lepiej zrozumieć charakter zjawiska algorytmicznej inercji, przeprowadziliśmy pogłębione badanie innej organizacji, której nie udało się zaadaptować do zmian zachodzących wokół. Przyjrzeliśmy się Moody’s, firmie z sektora analiz finansowych, która opracowuje ratingi kredytowe dla obligacji, a także złożonych instrumentów finansowych, między innymi dla papierów wartościowych zabezpieczonych hipoteką mieszkaniową (residential mortgage‑backed securities, RMBS). W okresie poprzedzającym światowy kryzys finansowy w 2008 roku RMBS‑y tworzyły pule indywidualnych hipotek, które następnie grupowano w transze o odrębnych właściwościach.

Agencja ratingowa Moody’s starała się, by jej oceny uwzględniały zmiany zachodzące na rynku. W tym celu w 2000 roku stworzyła własny model algorytmiczny o nazwie M3 Prime. Model ten analizował dane na temat nieruchomości, właścicieli hipotek oraz sytuacji gospodarczej, by ostatecznie oszacować dwa najistotniejsze parametry ratingu kredytowego, a mianowicie spodziewane straty dla danej puli hipotek oraz ochronę zapewniającą pokrycie strat, wymaganą, by dany papier wartościowy utrzymał rating na poziomie AAA. Analityk prezentował rekomendacje przed komisją ratingową Moody’s, która przyznawała danemu instrumentowi rating, a następnie był on publikowany. Agencja Moody’s monitorowała swoje ratingi i w miarę kolejnych zmian na rynku podwyższała lub obniżała je dla poszczególnych RMBS‑ów. Model M3 Prime początkowo działał imponująco, więc w 2006 roku Moody’s postanowiła poszerzyć zakres stosowania analiz wspieranych algorytmami i wprowadziła model pochodny zwany M3 Subprime.