Konkursy prowokują i inspirują, nagrody motywują. W tym właśnie duchu Reed Hastings, współzałożyciel, prezes i dyrektor generalny firmy Netflix, ogłosił w październiku 2006 roku niezwykły konkurs o nagrodę Netflixa.
Nagroda Orteiga zainspirowała Charlesa Lindbergha do odbycia epokowego, samotnego lotu przez Atlantyk w 1927 roku. Nagroda Kremera za lot na mięśniolotach sprawiła, że Gossamer Condor przeleciał w ten sposób przez kanał La Manche. Nagroda Ansari X w 1994 roku zapoczątkowała komercyjne innowacje w dziedzinie statków kosmicznych wielokrotnego użytku i została spektakularnie wygrana w 2004 roku. Podobne założenie – inspirować, a nawet prowokować – stało za konkursem Netflixa. W założeniu Hastingsa miał on wypromować i spopularyzować badania nad skutecznością mechanizmów rekomendacji.
PRZECZYTAJ CAŁY ARTYKUŁ W WERSJI PDF
Netlix starał się nie tylko usprawnić swój system rekomendacji, ale także wymodelować zupełnie nowe rozwiązania. Dlatego firma opublikowała największy zbiór danych, jaki kiedykolwiek został udostępniony publicznie – ponad 100 milionów ocen w skali od 1 do 5, dotyczących 17 tysięcy filmów i pochodzących od blisko 0,5 miliona użytkowników. Wyzwanie? Każdy, kto przewidzi oceny konsumentów o 10% lepiej niż Cinematch (własny algorytm Netflixa – red.), wygra nagrodę w wysokości miliona dolarów. Netflix zrozumiał, że wszystko w jego biznesie stało się lepsze, gdy poprawiły się rekomendacje. Crowdsourcing w formie rywalizacji był dodatkowym sprytnym staraniem o innowacje w rekomendacjach.
Marketingowe arcydzieło
Netflix Prize to majstersztyk w zakresie public relations i promocji technicznych innowacji. Konkurs przyciągnął dosłownie tysiące uczestników – naukowców, przedsiębiorców, specjalistów branżowych – z całego świata. Przy okazji zmienił kształt globalnych rozmów o big data i analityce.
„Aby zrozumieć naturę zadania – tłumaczył informatyk społeczny, Scott Page – wyobraź sobie gigantyczny arkusz kalkulacyjny z wierszami dla każdej osoby i kolumną dla każdego filmu. Gdyby każdy użytkownik ocenił każdy film, arkusz kalkulacyjny zawierałby ponad 8,5 miliarda ocen. Te dane obejmowały zaledwie 100 milionów ocen. Mimo tak ogromnej ilości zajmują one mniej niż 1,2% komórek. Jeśli otworzysz ten arkusz w Excelu, zobaczysz przede wszystkim puste miejsca. Informatycy nazywają to rzadkimi danymi”.
Krótki opis nagrody, co zauważył Page, wymagał algorytmów predykcyjnych, które z powodzeniem wypełnią te luki. Uczestnicy mieli za zadanie stworzyć nową generację systemów bazujących na powiązaniach pomiędzy użytkownikami, które oferowały innowacyjne pomiary podobieństwa między ludźmi i między filmami. Jednak wciąż obowiązywało założenie, zgodnie z którym podobne osoby powinny oceniać ten sam film w podobny sposób i każda osoba oceniałaby podobne filmy w podobny sposób.
Jednak, jak słusznie zaznaczył Page: „charakteryzowanie podobieństwa pomiędzy ludźmi lub filmami wiąże się z trudnymi wyborami: Czy Kosmicznym jajom Mela Brooksa bliżej do komedii Czy leci z nami pilot?, czy może do Gwiezdnych Wojen, których Kosmiczne jaja były parodią”? Na początku miary podobieństwa filmów przygotowane przez uczestników podkreślały takie cechy, jak gatunek (komedia, dramat, akcja), wpływy ze sprzedaży biletów i zewnętrzne rankingi. Niektóre modele sprawdzały obecność określonych aktorów (czy w filmie był Morgan Freeman albo Will Smith?) lub typów zdarzeń, takich jak makabryczne śmierci, pościgi samochodowe czy sceny erotyczne. Późniejsze modele dodały dane o liczbie dni między premierą filmu na DVD a dniem wypożyczenia. Poszukiwanie i testowanie nowatorskich funkcji oraz nieoczekiwanych korelacji zdominowało konkurencyjne ramy projektu.
Page podsumował, że zwycięstwo w konkursie wymagało znajomości najważniejszych cech filmów, dostępnych informacji o nich, sposobów przedstawiania właściwości filmów w językach dostępnych dla komputerów, dobrych modeli mentalnych związanych z ocenami filmów, umiejętności opracowywania algorytmów przewidywania ocen oraz doświadczenia w łączeniu różnych modeli w działające zespoły. Laureaci nagrody Netflixa musieliby być zarówno holistycznymi twórcami, jak i rygorystycznymi redukcjonistami.
Mistrzostwa z matematyki
Konkurs wzbudził ogromne pokłady energii twórczej i wnikliwości algorytmicznej. Pod koniec pierwszego roku BellKor, zespół z laboratoriów badawczych AT&T, wyprzedził innych. Najlepszy model zespołu przetwarzał 50 zmiennych na film i ulepszył Cinematch o 6,58%. A następnie BellKor zrobił o wiele więcej: połączył 50 modeli w jeden gigantyczny zespół i zwiększył wydajność Cinematch o 8,43%.
Zdając sobie sprawę ze zwiększonych zdolności predykcyjnych innowacyjnego łączenia modeli, BellKor zastosował strategię w stylu Gry o Tron, czyli tworzył algorytmiczne sojusze z kluczowymi konkurentami. Jeden owocny alians ułatwił łączenie rozbieżnych modeli, inny zaś pozwolił na nowo spojrzeć na zachowania widzów. Prawie trzy lata po tym, jak ledwo udało się w ostatniej chwili odeprzeć ataki rywala z Dinosaur Planet (naprawdę!), kombinacja Pragmatycznego Chaosu BellKora triumfalnie przekroczyła próg 10% i wygrała milion dolarów. Game Over.
PRZECZYTAJ wywiad z Michaelem Schragem » » »
Cyfrowi trenerzy rozwoju biznesu
O tym, jak działają systemy rekomendacji, jakie niosą korzyści i zagrożenia, opowiada Michael Schrage, naukowiec z Center for Digital Business na MIT Sloan School i autor książki Siła rekomendacji. Rozmawia Tomasz Kulas.
„Dramaturgia konkursu była niesamowita – oświadczył w czasie ceremonii rozdania nagród ówczesny CFO Netflixa, Neil Hunt. – Na początku do akcji weszło całe mnóstwo zespołów – i otrzymywały sześcio-, siedmio-, czasem ośmioprocentową poprawę. Ale potem tempo postępu zaczęło spadać i dotarliśmy do drugiego roku trwania tego wyzwania. Był taki długi okres, w którym uczestnicy ledwo robili jakiekolwiek postępy, i myśleliśmy, że nasze wyzwanie może nigdy nie zostanie zrealizowane. Później niektóre zespoły słusznie spostrzegły, że jeśli połączą swoje podejścia, uzyskają lepsze wyniki. Dla wielu osób było to dość nieintuicyjne [ponieważ zazwyczaj bierze się najmądrzejsze dwie osoby i mówi im, żeby wymyśliły rozwiązanie]. […] A jednak, kiedy zespoły połączyły swoje algorytmy w określony sposób, szaleństwo zaczęło się na nowo. Poprzez współpracę zespoły mogłyby stawać się coraz lepsze i lepsze”.
Olśnienie dotyczące łączenia metod okazało się mistrzowskim posunięciem matematycznym, choć zniweczyło początkowe nadzieje na błyskotliwe i szybkie uporanie się z problemem. W rzeczywistości rzetelna rekomendacja okazała się zjawiskiem wielce złożonym. Zarówno ludzie, jak i maszyny powinni znaleźć nowe sposoby uczenia się od siebie nawzajem – i od danych – żeby znacząco poprawić swoje zdolności współpracy i przewidzieć, czego naprawdę chcemy.
Długi ogon konkursu
Sukces konkursu zaskoczył zarówno naukowców zajmujących się danymi, jak i cyfrowych innowatorów. Publiczne udostępnianie zbiorów danych w celu przyciągnięcia społeczności szukających nowych wyzwań stało się najlepszą praktyką. Znaczący wydaje się fakt, że Kaggle – popularna witryna z konkursami w zakresie uczenia maszynowego, przejęta przez Google w 2017 roku – została uruchomiona rok po przyznaniu Netflix Prize.
W 2007 roku Association for Computing Machinery (ACM) zainaugurowało konferencję RecSys – globalny zjazd gromadzący autorów najlepszych badań akademickich i branżowych. Rekomendacje stawały się w coraz mniejszym stopniu jedynie gałęzią badawczą podsystemu cyfrowego – zaczęły funkcjonować jako wyłaniający się ekosystem. Podobnie jak samodzielny lot Lindbergha przez Atlantyk obudził ducha przedsiębiorczości w lotnictwie komercyjnym, tak przełom w postaci Netflix Prize rozpalił cyfrowe ambicje, które pomogły w przekształceniu przyszłości silników rekomendacji.
Łączenie metod okazało się mistrzowskim posunięciem, choć zniweczyło początkowe nadzieje na szybkie uporanie się z problemem. W rzeczywistości rzetelna rekomendacja okazała się zjawiskiem wielce złożonym.
„Uważam, że nagroda Netflixa okazała się niezmiernie istotna – powiedział Joseph Konstan, innowator w GroupLens. – Nie tylko umieściła ona na mapie badań rozwój systemów rekomendacji, ale również przyciągnęła uwagę wielu znakomitych naukowców zajmujących się uczeniem maszynowym i eksploracją danych”.
Niezwykły wpływ miały również same wnioski wyciągnięte z konkursu. W prezentacji z 2014 roku, podsumowującej pięć lat od przyznania nagrody, były specjalista ds. algorytmów w Netflixie, Xavier Amatriain, we współpracy z kolegami, przedstawił szczegółowe konkluzje, które zmieniły ścieżki rozwoju innowacji:
Niejawne informacje zwrotne – kliknięcia, wyświetlenia, średnie czasy spędzone na stronie i inne mierzalne zachowania użytkowników – okazały się lepsze i bardziej niezawodne w wychwytywaniu preferencji niż wyraźne oceny. Innymi słowy, działania użytkowników ujawniają więcej niż przyznane przez nich oceny. Udoskonalenie mechanizmów zbierania niejawnych informacji zwrotnych ma kluczowe znaczenie dla poprawy skuteczności rekomendacji.
„Przewidywanie ocen” nie jest ostatecznie najlepszym sposobem na formalizowanie problemów z rekomendacjami. Zastosowanie algorytmów uczenia maszynowego, które personalizują rankingi dla użytkowników, to skuteczniejsze podejście do podpowiadania najlepszych pozycji użytkownikom. Technicznie rzecz biorąc, rankingi bazujące na uczeniu maszynowym mogłyby np. generować lepsze pakiety rekomendacji niż algorytmy przewidujące oceny użytkowników. W tym kontekście trzeba pomyśleć o zarządzaniu portfelem rekomendacji.
Ważna jest równowaga pomiędzy eksploracją a eksploatacją w celu zaangażowania użytkownika. Jaka kombinacja rekomendacji powinna wzbudzić ciekawość i dalszą eksplorację, a jaka uchodzi za „pewniak”? Różnorodność i nowość w przypadku zaleceń mogą być równie ważne, jak trafność.
Rekomendacje to nie tylko dwuwymiarowy problem skorelowania użytkowników i przedmiotów, ale wielowymiarowa przestrzeń obejmująca elementy kontekstowe, takie jak pora dnia, dzień tygodnia czy fizyczna lokalizacja. Rekomendacje kontekstowe stały się przedmiotem badań i inwestycji.
Użytkownicy decydują o wyborze elementów nie tylko na podstawie tego, jak dobre są według nich, ale także jak te decyzje mogą angażować ich sieci społecznościowe lub na nie wpływać. Połączenia pomiędzy użytkownikami na Facebooku, LinkedInie i Gmailu mogą być doskonałym źródłem danych, o które warto uzupełnić system rekomendacji. Podpowiedzi w mediach społecznościowych mogą znacząco wpływać na rekomendacje na innych platformach. Na przykład w czasie trwania konkursu o nagrodę Netflixa baza użytkowników Facebooka wzrosła z dwunastu do ponad 360 milionów. Dostęp do odpowiednich fragmentów tych danych może znacznie zmniejszyć problem ich niedostatku.
Przejrzystość i dostępność w obszarze doświadczenia użytkownika (ang. user experience, UX) mają znaczenie. Inteligentne algorytmy niezawodnie wybierające dla użytkowników elementy najbardziej istotne z punktu widzenia kontekstu nie są wystarczające. Elementy te muszą być prezentowane w formie, którą użytkownicy docenią i pożytecznie wykorzystają.
W związku z tym powody i przesłanki rekomendacji muszą być łatwe do wyjaśnienia. Wyjaśnienie rekomendacji zazwyczaj ułatwia użytkownikom podejmowanie decyzji, zwiększając wskaźniki konwersji i prowadząc do większej satysfakcji oraz zaufania do systemu. Dostarczenie objaśnień prowadzi do lepszego zrozumienia i sprawia, że użytkownicy nie mają za złe, kiedy nie lubią konkretnych zaleceń. Sposób automatycznego generowania i przedstawiania wyjaśnień po stronie systemu wzbudził poważne zainteresowanie badaczy.
Słysząc to, co deklarują poważni badacze i inwestorzy z Doliny Krzemowej lub Szanghaju, trudno przecenić wpływ nagrody Netflixa na rozwój rekomendacji opartych na danych, a przez to na rozwój platform i uczenia maszynowego. Pozornie dziwaczne teorie uczenia maszynowego przeszły testy obciążeniowe w rzeczywistych kontekstach. Kiedyś sprzeczne i kontrowersyjne odkrycia stały się powszechną mądrością. Konkurs przyczynił się do powstania innowacyjnych zespołów badaczy i przedsiębiorców.
Spóźnione zwycięstwo
Najbardziej ironiczne, a wręcz przewrotne w nagrodzie Netflixa jest natomiast to, że firma ostatecznie nie wykorzystała zwycięskich algorytmów do przekształcenia Cinematch. Czasy i technologia gwałtownie ewoluowały. Moda na wypożyczanie DVD dogorywała. Innowacje w chmurze obliczeniowej o wyższej przepustowości na żądanie skłoniły Netflixa do dystrybuowania filmów w internecie. Subskrybenci to pokochali, ale technologie dostarczania materiałów, UX i natychmiastowość diametralnie różniły się od wcześniejszych. Kryteria Cinematch i założenia dotyczące zarządzania kolejkami, które sprawiły, że model biznesowy zorientowany na rekomendacje Netflixa odniósł tak duży sukces, okazały się zbyt anachroniczne.
„Kiedy byliśmy firmą zajmującą się wysyłaniem płyt DVD pocztą, a ludzie wystawiali nam oceny, wyrażali pewien proces myślowy – wspomina Amatriain z Netflixa. – Dodawałeś coś do swojej kolejki, ponieważ chciałeś to obejrzeć kilka dni później; decyzja wiązała się z kosztami i opóźnioną nagrodą. Dzięki natychmiastowemu strumieniowaniu zaczynasz coś odtwarzać i jeśli ci się nie podoba, po prostu zmieniasz film. Użytkownicy tak naprawdę nie dostrzegają korzyści z wyrażania wyraźnych opinii, więc inwestują w nie mniej wysiłku”.
Potwierdza to jego kolega, Carlos Gomez‑Uribe z Netflixa: „Testy wykazały, że przewidywanie ocen nie jest tak naprawdę super użyteczne, w przeciwieństwie do tego, co jest faktycznie odtwarzane. Przechodzimy od skupiania się wyłącznie na ocenach i ich prognozach do polegania na bardziej złożonym ekosystemie algorytmów”.
„Złożony ekosystem algorytmów” brzmi podobnie do „zespołu”. Jakie dane są przetwarzane przez ekosystemy lub zbiory algorytmiczne w celu poprawy jakości rekomendacji? Netflix online monitoruje, kiedy subskrybenci wstrzymują odtwarzanie lub przewijają. Sprawdza, w jakie dni subskrybenci oglądają jakie treści (firma wykryła, że ludzie zazwyczaj oglądają programy telewizyjne w ciągu tygodnia, a film przekładają na weekend). Śledzi też datę oglądania, godzinę, lokalizację (według kodu pocztowego), urządzenie i – oczywiście – oceny. Monitorowanie tych zachowań w świecie DVD było niemożliwe.
Trudno przecenić wpływ nagrody Netflixa na rozwój rekomendacji, a przez to na rozwój platform i uczenia maszynowego.
Możliwość przesyłania strumieniowego treści wideo do urządzeń użytkowników zwiększyła ilość niejawnych informacji zwrotnych. Chociaż wyniki Netflix Prize nie zdołały udoskonalić ani zrewolucjonizować Cinematch z przeszłości, wstępnie umożliwiły Netflixowi czerpanie korzyści z nowej platformy cyfrowej z wideo na żądanie. Konkurs dał Netflixowi jasny i przekonujący argument za inwestowaniem w przyszłość systemu rekomendacji.
Co więcej, nowe bogactwo informacji o klientach, np. poprzez obserwowanie, które z programów zachęcają do kompulsywnego oglądania kilku odcinków, umożliwiło Netflixowi nie tylko polecanie treści, ale także ich tworzenie. Rekomendacje okazały się cyfrowym mieczem obosiecznym. Te same dane i algorytmy, których użył Netflix, aby pomóc użytkownikom zdecydować, które programy oglądać, można zmienić, aby pomóc producentom zdecydować, jakie programy wyprodukować. Silniki rekomendacji mogą być równie cenne dla twórczego rozwoju, jak dla efektywnej dystrybucji.
Wiedza, która daje przewagę
W 2011 roku Netflix przelicytował HBO i AMC, pozyskując prawa do produkcji amerykańskiej wersji brytyjskiego hitu telewizyjnego House of Cards. Analizy oparte na rekomendacjach były kluczowe – dzięki nim firma zdecydowała się postawić 100 milionów dolarów na rozpoczęcie działalności związanej z samodzielną produkcją. Rekomendacje Netflixa stały się narzędziami do zarządzania ryzykiem. Według bloga Kissmetrics Netflix wiedział, że wielu jego subskrybentów oglądało wyreżyserowany przez Davida Finchera film The Social Network – o Facebooku – od początku do końca. Netflix wiedział, że brytyjski House of Cards cieszy się znaczącą popularnością. Dodatkowo wiedział również, że fani brytyjskiego House of Cards oglądali też filmy z udziałem Kevina Spaceya lub/i wyreżyserowane przez Finchera.
Ogólnie rzecz biorąc, rekomendacje mogą podpowiadać twórcom Netflixa te cechy programów, które najprawdopodobniej przyciągną zainteresowanie subskrybentów, wzmocnią ich lojalność i skłonią do kompulsywnego oglądania. „Ponieważ mamy bezpośrednie relacje z konsumentami – powiedział jeden z dyrektorów firmy – wiemy, co ludzie lubią oglądać, a to pomaga nam zrozumieć, jak duże będzie zainteresowanie danym programem. Dało nam to pewność, że uda nam się znaleźć publiczność dla takiego serialu jak House of Cards”.
PRZECZYTAJ recenzję książki Michaela Schrage’a » » »
Siła rekomendacji, którą możesz wykorzystać w biznesie
Silniki rekomendacji. Niewiele o nich wiemy, choć wszyscy się z nimi spotykamy, kiedy Netflix zadziwiająco trafnie proponuje nam kolejny film do obejrzenia, Spotify domyśla się, czego chcielibyśmy jeszcze posłuchać, a Amazon sugeruje dokupienie produktów, które okazują się zaskakująco przydatne.
Aż do skandali seksualnych związanych ze Spacey’em House of Cards okazało się niezwykle skuteczne – zarówno jako inwestycja finansowa, jak i artystyczna. Jednak „efekt rekomendacji” Netflixa wykracza daleko poza analizę oryginalnego projektu treści – przenika każde przejęcie rozważane przez firmę. „Netflix szuka najbardziej wydajnych treści – oświadczył były wiceprezes ds. inżynierii produktu w Netflixie. – Wydajne są te, które zaoferują maksymalne szczęście w przeliczeniu na wydanego dolara. Stosuje się różne skomplikowane wskaźniki, które mają służyć do pomiaru zadowolenia członków serwisu. O ile by wzrosło, gdyby Netflix licencjonował Mad Mena, a o ile, gdyby wziął pod uwagę Synów Anarchii”?
Bez infrastruktury rekomendacji pytania te byłyby w dużej mierze hipotetyczne. Jednak dzięki inwestycjom w kulturę organizacji i innowacje udzielono na nie prawdziwych, rozsądnych i dochodowych odpowiedzi. Producenci telewizyjni i filmowi, sieci i dystrybutorzy na całym świecie analizują dane Netflixa, aby podejmować własne decyzje. Model działania tej firmy zmienił Hollywood i jego ekonomię.
Artykuł stanowi fragment najnowszej książka Michaela Schrage’a:
Siła rekomendacji. Jak Amazon, Netflix i Spotify skutecznie angażują uwagę użytkowników
wydanej przez ICAN Institute.
Tu można kupić:
