Polska może pochwalić się czterema fascynującymi inicjatywami w zakresie tworzenia dużych modeli językowych, które mają na celu rozwój rodzimych rozwiązań technologicznych. Każdy z tych projektów, choć oparty na podobnym założeniu, wyróżnia się unikalnym podejściem i metodami działania.
W dobie globalizacji największe korporacje technologiczne rozwijają zaawansowane modele językowe, takie jak ChatGPT, które są w dużej mierze trenowane na treściach w języku angielskim. Modele te, choć imponujące, mają ograniczoną zdolność do uchwycenia subtelnych różnic językowych, kulturowych i historycznych takich krajów jak Polska. Dlatego tworzenie polskich modeli językowych jest kluczowe – pozwala lepiej rozumieć specyfikę naszego kraju, wspiera rozwój technologiczny oraz chroni nasze dziedzictwo kulturowe i historyczne.
Opracowanie dużego modelu językowego (LLM) od podstaw to jednak niezwykle kosztowny projekt. Pierwsze komercyjne i zamknięte LLM‑y były rozwijane przez gigantów technologicznych z USA: Google, OpenAI, Meta, IBM czy NVIDIA, a każda z tych firm zainwestowała w to setki milionów dolarów. Niestety, w polskich firmach wciąż brakuje odpowiedniego kapitału, który pozwoliłby na realizację projektów o tak dużej skali i kosztach.
Europa, która często przesypia zmiany technologicznie i reaguje na nie z opóźnieniem, tradycyjnie zaczęła od stworzenia regulacji. Na tym tle jednak wyróżniła się francuska firma Mistral, która postawiła sobie za cel stworzenie otwartego LLM‑u, w którym lepiej byłyby reprezentowane języki europejskie: francuski, niemiecki, hiszpański i włoski. Do realizacji tego projektu w kolejnych rundach finansowania firma zdobyła ponad 1 mld euro (4,3 mld zł).
Innym podejściem, które przyjęło wiele krajów, było stworzenie przez rządy narodowych programów budowy własnych modeli językowych. Takie inicjatywy powstały w Chinach, Rosji, Indiach, Hiszpanii, Niemczech, Szwecji, Finlandii, Singapurze czy Nigerii. W Polsce również podjęto kroki w tym kierunku, powołując Radę AI, zespoły zadaniowe oraz punkty kontaktowe. Plan był ambitny, chciano działać kompleksowo, ale rozproszona organizacja i ilość inicjatyw naraz prowadzą do powolnego i nieefektywnego działania.
Przełom nastąpił w marcu 2023 roku, gdy z Mety najpierw wyciekł kod, a następnie został udostępniony duży model językowy LLaMa w postaci open source. Pół roku później własne rozwiązanie opublikowała firma Mistral. W lipcu 2023 roku Meta zrobiła następny krok: wypuściła na rynek kolejną wersję otwartego modelu LLaMa 3.1 405B. Od tego momentu możliwe było wykorzystanie jednego z tych bazowych modeli i trenowanie go polskimi treściami, co jest o wiele tańsze niż budowanie nowego modelu od podstaw.
Tworzenie narodowego modelu językowego można porównać do wprowadzania polskiego pisma w XIII wieku. Był to niezwykle ważny krok, który wzmocnił naszą tożsamość narodową, przyczynił się do rozwoju kultury i nauki, usprawnił administrację i gospodarkę, a także umocnił pozycję Polski na arenie międzynarodowej. Podobnie dzisiaj polskie modele językowe – otwarte i niezależne od zewnętrznych dostawców – będą wspierały konkurencyjność naszych przedsiębiorstw na rynku technologicznym, zapewniając stabilne zaplecze dla kluczowych sektorów, takich jak bankowość, administracja, medycyna czy prawo. Obecnie wystartowało kilka inicjatyw mających na celu tworzenie narodowego LLM‑u.
Przeczytaj artykuł i poznaj cztery najważniejsze modele.
