Streszczenie: Polska rozwija cztery inicjatywy tworzenia dużych modeli językowych (LLM) w celu wzmocnienia rodzimych technologii. Globalne modele, jak ChatGPT, bazują głównie na języku angielskim, co ogranicza ich zdolność do uchwycenia polskich niuansów językowych i kulturowych. Tworzenie polskich LLM-ów jest kluczowe dla zrozumienia lokalnej specyfiki i ochrony dziedzictwa kulturowego. Budowa takiego modelu od podstaw jest kosztowna; amerykańskie firmy technologiczne zainwestowały w nie setki milionów dolarów. W Europie francuska firma Mistral pozyskała ponad 1 mld euro na rozwój otwartego LLM-u dla języków europejskich. W Polsce podjęto kroki w kierunku stworzenia własnych modeli językowych, powołując Radę AI i zespoły zadaniowe, jednak rozproszona organizacja spowalnia postępy. Przełomem było udostępnienie przez Metę modelu LLaMa w 2023 roku, co umożliwiło trenowanie go polskimi treściami, będąc tańszą alternatywą niż budowa od podstaw. Tworzenie narodowego modelu językowego porównano do wprowadzenia polskiego pisma w XIII wieku, co wzmocniło tożsamość narodową i rozwój kultury. Polskie modele językowe mogą wspierać konkurencyjność przedsiębiorstw w sektorach takich jak bankowość, administracja, medycyna czy prawo.
Polska może pochwalić się czterema fascynującymi inicjatywami w zakresie tworzenia dużych modeli językowych, które mają na celu rozwój rodzimych rozwiązań technologicznych. Każdy z tych projektów, choć oparty na podobnym założeniu, wyróżnia się unikalnym podejściem i metodami działania.
W dobie globalizacji największe korporacje technologiczne rozwijają zaawansowane modele językowe, takie jak ChatGPT, które są w dużej mierze trenowane na treściach w języku angielskim. Modele te, choć imponujące, mają ograniczoną zdolność do uchwycenia subtelnych różnic językowych, kulturowych i historycznych takich krajów jak Polska. Dlatego tworzenie polskich modeli językowych jest kluczowe – pozwala lepiej rozumieć specyfikę naszego kraju, wspiera rozwój technologiczny oraz chroni nasze dziedzictwo kulturowe i historyczne.
Opracowanie dużego modelu językowego (LLM) od podstaw to jednak niezwykle kosztowny projekt. Pierwsze komercyjne i zamknięte LLM‑y były rozwijane przez gigantów technologicznych z USA: Google, OpenAI, Meta, IBM czy NVIDIA, a każda z tych firm zainwestowała w to setki milionów dolarów. Niestety, w polskich firmach wciąż brakuje odpowiedniego kapitału, który pozwoliłby na realizację projektów o tak dużej skali i kosztach.
Europa, która często przesypia zmiany technologicznie i reaguje na nie z opóźnieniem, tradycyjnie zaczęła od stworzenia regulacji. Na tym tle jednak wyróżniła się francuska firma Mistral, która postawiła sobie za cel stworzenie otwartego LLM‑u, w którym lepiej byłyby reprezentowane języki europejskie: francuski, niemiecki, hiszpański i włoski. Do realizacji tego projektu w kolejnych rundach finansowania firma zdobyła ponad 1 mld euro (4,3 mld zł).
Innym podejściem, które przyjęło wiele krajów, było stworzenie przez rządy narodowych programów budowy własnych modeli językowych. Takie inicjatywy powstały w Chinach, Rosji, Indiach, Hiszpanii, Niemczech, Szwecji, Finlandii, Singapurze czy Nigerii. W Polsce również podjęto kroki w tym kierunku, powołując Radę AI, zespoły zadaniowe oraz punkty kontaktowe. Plan był ambitny, chciano działać kompleksowo, ale rozproszona organizacja i ilość inicjatyw naraz prowadzą do powolnego i nieefektywnego działania.
Przełom nastąpił w marcu 2023 roku, gdy z Mety najpierw wyciekł kod, a następnie został udostępniony duży model językowy LLaMa w postaci open source. Pół roku później własne rozwiązanie opublikowała firma Mistral. W lipcu 2023 roku Meta zrobiła następny krok: wypuściła na rynek kolejną wersję otwartego modelu LLaMa 3.1 405B. Od tego momentu możliwe było wykorzystanie jednego z tych bazowych modeli i trenowanie go polskimi treściami, co jest o wiele tańsze niż budowanie nowego modelu od podstaw.
Tworzenie narodowego modelu językowego można porównać do wprowadzania polskiego pisma w XIII wieku. Był to niezwykle ważny krok, który wzmocnił naszą tożsamość narodową, przyczynił się do rozwoju kultury i nauki, usprawnił administrację i gospodarkę, a także umocnił pozycję Polski na arenie międzynarodowej. Podobnie dzisiaj polskie modele językowe – otwarte i niezależne od zewnętrznych dostawców – będą wspierały konkurencyjność naszych przedsiębiorstw na rynku technologicznym, zapewniając stabilne zaplecze dla kluczowych sektorów, takich jak bankowość, administracja, medycyna czy prawo. Obecnie wystartowało kilka inicjatyw mających na celu tworzenie narodowego LLM‑u.
Przeczytaj artykuł i poznaj cztery najważniejsze modele.
