Analiza budowy i wdrażania dużych modeli językowych ujawnia, które podmioty mogą najwięcej zyskać oraz gdzie nowi gracze odnajdą najlepsze perspektywy.
Od publicznego uruchomienia ChatuGPT dokonano olbrzymich inwestycji w technologię z zakresu sztucznej inteligencji (AI), w szczególności głębokiego uczenia i przetwarzania języka naturalnego. Fundusze venture capital włożyły pieniądze w start- -upy generatywnej AI, a korporacje zwiększyły wydatki na tę technologię w nadziei na automatyzację swoich procesów. Ekscytacja jest uzasadniona. Wczesne badania wykazały, że generatywna AI może znacząco zwiększyć produktywność. Część tych efektów można uzyskać poprzez wspomaganie ludzkiej pracy narzędziami AI, a część – poprzez jej zastępowanie.
Nadal jednak nie wiadomo, kto przechwyci wartość z tego gwałtownie rozwijającego się rynku i co ten podział zdeterminuje. Aby odpowiedzieć na te pytania, przeanalizowaliśmy ekosystem generatywnej AI – szeroko podzielony na infrastrukturę komputerową, dane, modele bazowe, modele dostrojone oraz aplikacje – aby zidentyfikować obszary, w których można się wyróżnić. Mając świadomość, że istnieją generatywne modele AI przeznaczone do tworzenia tekstów, obrazów, dźwięków i wideo, w całej naszej dyskusji będziemy się posługiwać przykładami zaczerpniętymi z modeli tekstowych (dużych modeli językowych, czyli LLM).
Infrastruktura obliczeniowa. U podstaw ekosystemu generatywnej AI leży specjalistyczna infrastruktura obliczeniowa zasilana przez wysokowydajne jednostki przetwarzania grafiki (GPU), na których modele uczenia maszynowego są trenowane i uruchamiane. Aby zbudować nowy model lub usługę generatywnej AI, firma może rozważyć zakup GPU i powiązanego sprzętu do stworzenia infrastruktury niezbędnej do trenowania i uruchamiania dużego modelu językowego (LLM) lokalnie. Prawdopodobnie byłoby to jednak kosztowne i niepraktyczne, zważywszy na fakt, że taka infrastruktura jest powszechnie dostępna za pośrednictwem głównych dostawców chmury, takich jak Amazon Web Services (AWS), Google Cloud i Microsoft Azure.
Dane. Modele generatywnej AI są trenowane na ogromnych ilościach danych z internetu. Na przykład dane treningowe dla GPT‑3 OpenAI obejmowały Common Crawl, publicznie dostępne repozytorium danych z web crawlingu (automatyczne przeglądanie stron internetowych i zapisywanie ich zawartości – przyp. red.), a także Wikipedię, książki online i inne źródła. Wykorzystanie takich zbiorów danych jak Common Crawl oznacza, że dane z wielu stron internetowych, takich jak New York Times i Reddit, zostały przetworzone podczas procesu treningowego. Ponadto modele bazowe zawierają także dane specyficzne dla określonych domen, które są pobierane z internetu, licencjonowane od partnerów lub kupowane na rynkach danych takich jak Snowflake Marketplace. Chociaż twórcy modeli AI informują o tym, jak model został trenowany, nie udostępniają szczegółowych informacji na temat pochodzenia swoich źródeł danych treningowych. Niemniej badacze byli w stanie ujawnić różne źródła danych używane do trenowania modeli AI, wprowadzając specyficzne komendy do modelu (prompt injection attacks) tak, by ten ujawnił, na podstawie jakich źródeł był uczony.
Materiał dostępny tylko dla subskrybentów
Dołącz do subskrybentów MIT Sloan Management Review Polska Premium!
Kup subskrypcję