Jeśli wdrożenie aplikacji wykorzystującej generatywną AI w twojej organizacji nie przyniosło oczekiwanych rezultatów, być może zabrakło solidnego procesu ewaluacji. Oto przepis, jak go zbudować.
Jeśli twoja organizacja rozwija aplikacje oparte na generatywnej AI wykorzystującej duże modele językowe (LLM), niezbędne jest wdrożenie rygorystycznego procesu oceny jakości tych rozwiązań. Proces ten opiera się na tzw. Evals, czyli automatycznych testach, które mierzą skuteczność aplikacji LLM w zakresie wskaźników istotnych dla użytkownika końcowego lub z perspektywy biznesowej. Evals przyspieszają rozwój poprzez skoncentrowanie wysiłku zespołu na tym, co naprawdę ma znaczenie, a tym samym zwiększają szansę na stworzenie aplikacji generujących namacalną wartość dla organizacji. W praktyce jednak wiele zespołów nie inwestuje w ten etap wystarczająco dużo. Efekt? Nierówny postęp prac, a w konsekwencji anulowanie projektów GenAI lub wdrożenie wadliwych rozwiązań, które nie realizują założonych celów biznesowych.
Solidny proces ewaluacji stanowi korzyść dla wszystkich stron, zarówno menedżerów odpowiedzialnych za projekt i dyrektorów IT, jak i zespołów deweloperskich, którzy wspólnie działają na rzecz rozwiązania konkretnych problemów biznesowych. W ten sposób liderzy mogą ocenić jakość aplikacji na kolejnych etapach jej cyklu rozwojowego, a deweloperzy mogą odpowiadać na kluczowe pytania, takie jak: „Czy robimy wystarczające postępy?”, „Na czym powinniśmy się skupić w kolejnym cyklu?” albo „Czy aplikacja jest wystarczająco dobra, by ją wdrożyć?”
W tym artykule przedstawiam praktyczne wskazówki oparte na własnych badaniach, doświadczeniu przy tworzeniu aplikacji oraz obserwacjach innych praktyków, które pomogą zbudować skuteczny proces ewaluacji oparty o iteracje. Umożliwia on szybki postęp oraz zwiększa szanse organizacji na sukces przy wdrażaniu aplikacji opartych na generatywnej sztucznej inteligencji.
Trzy fundamenty budowy aplikacji opartych na LLM
Zanim przejdziemy do omówienia procesu oceny aplikacji GenAI, warto krótko przypomnieć podstawowe kroki w tworzeniu rozwiązań opartych na dużych modelach językowych. Na samym początku zespół wybiera, który LLM będzie odpowiedni jako podstawa. Może to być na przykład GPT-4o od OpenAI, Claude 3.5 Sonnet od Anthropic czy Llama 3.2 od Meta. Następnie dostosowuje ten model do wymagań konkretnej aplikacji.
W praktyce najczęściej stosuje się trzy techniki adaptacji. Inżynierię promptów (prompt engineering), generowanie wspomagane wyszukiwaniem (RAG – retrieval-augmented generation) oraz dostrajanie modelu na podstawie instrukcji (instruction fine-tuning).
- Inżynieria promptów: Ta metoda polega na odpowiednim formułowaniu instrukcji dla LLM, aby wykonał określone zadanie. Jeśli problem można rozwiązać bez specjalistycznej wiedzy, tak jak zrobiłby to przeciętny człowiek, to podejście będzie wystarczające. Przykład: zespół tworzy aplikację analizującą recenzje produktów z platformy e-commerce w poszukiwaniu sygnałów o wadach lub usterkach. Można wtedy przesłać tekst recenzji w ramach promptu i zadać pytanie: „Czy poniższa recenzja wskazuje na potencjalną wadę produktu? Odpowiedz tak lub nie”. Współczesne modele LLM dobrze radzą sobie z tego typu zadaniami, choć nawet drobne zmiany w treści promptu mogą znacząco wpłynąć na wynik. Z tego względuzawsze konieczne jest dokładne dopracowanie poleceń.
- Generowanie wspomagane wyszukiwaniem (RAG): Wykorzystuje się tę metodę, gdy aplikacja wymaga dostępu do danych firmowych. Na przykład system automatyzujący odpowiedzi na zapytania ofertowe musi mieć dostęp do informacji o firmie i wcześniejszych odpowiedzi. RAG pozwala wyodrębnić z firmowej bazy najważniejsze fakty związane z danym zapytaniem, dołączyć je do promptu i przesłać do modelu, który generuje na tej podstawie adekwatną odpowiedź.
- Dostrajanie na podstawie instrukcji (instruction fine-tuning): To podejście jest stosowane najczęściej, gdy zadanie obejmuje specjalistyczną terminologię lub wymaga eksperckiej wiedzy (np. notatki medyczne czy opinie prawne). W takiej sytuacji samo dopracowanie promptów i RAG może nie wystarczyć. Sięga się wtedy po instruction fine-tuning, czyli dodatkowe uczenie modelu na przykładach zapytań i odpowiedzi z danego obszaru tematycznego. To podejście sprawdza się także tam, gdzie trudno jasno opisać oczekiwane działanie modelu albo, gdy zależy nam na konkretnym stylu, tonie czy formacie odpowiedzi.
Jak to wygląda w praktyce? Zespoły najczęściej zaczynają od inżynierii promptów. Jeśli okaże się, że potrzebny jest dostęp do firmowych danych, wdrażają także RAG. Następnie iteracyjnie udoskonalają prompty i ustawienia RAG. Gdy to też nie przynosi oczekiwanych efektów, inwestują w instruction fine-tuning lub jeszcze bardziej zaawansowane techniki, takie jak uczenie przez wzmacnianie z udziałem opinii ludzi.
Dlaczego aplikacje GenAI wymagają rygorystycznego procesu ewaluacji?
Zrozumienie podstawowych etapów tworzenia aplikacji tłumaczy, dlaczego kwestie jakości są tak istotne. W trakcie iteracyjnego rozwoju zespół musi wiedzieć, czy rzeczywiście robi postępy. Jak rozpoznać moment, w którym sama inżynieria promptów przestaje wystarczać i trzeba wzbogacić ją o dostrajanie modelu? Kiedy należy uznać, że aplikacja jest gotowa do wdrożenia? Jak po jej uruchomieniu utrzymać skuteczność w warunkach zmieniających się zachowań użytkowników? Oraz jak upewnić się, że aplikacja nadal działa poprawnie, gdy dostawca LLM aktualizuje swój model?
Odpowiedzią na te wszystkie pytania jest wdrożenie rygorystycznego, ale łatwego do zastosowania procesu ewaluacji. Dobry proces polega na przetestowaniu LLM na starannie dobranym zestawie danych wejściowych i ocenie wyników modelu według wskaźników dostosowanych do konkretnego zastosowania. W idealnym scenariuszu takie testy są przeprowadzane po każdej istotnej zmianie w aplikacji: zespół natychmiast widzi, które wskaźniki się poprawiły, a które pogorszyły, co pozwala szybko zidentyfikować elementy wymagające dalszych usprawnień i wyznaczyć priorytety na kolejny cykl rozwojowy. Regularne przeprowadzanie ewaluacji po wdrożeniu aplikacji umożliwia też szybkie wykrywanie spadków wydajności związanych z czynnikami zewnętrznymi.
Skuteczny proces ewaluacji opiera się jednak na kilku kluczowych elementach. Omówmy je szczegółowo:
Zbierz pytania testowe.
Dobrym punktem wyjścia jest przygotowanie zestawu pytań lub treści reprezentatywnych dla typowych zapytań użytkowników aplikacji. Warto uwzględnić w nim również przypadki krańcowe, czyli niepełne, błędne lub niezwiązane z tematem zapytania. Zgromadzenie kilkuset dobrze dobranych przykładów (w miarę możliwości) zwiększa szansę na to, że zespół będzie dysponował różnorodnym i adekwatnym zbiorem testowym.
Ponieważ aplikacja jest dopiero w trakcie rozwoju, nie mamy jeszcze rzeczywistych danych od użytkowników, dlatego można wykorzystać techniki generowania danych syntetycznych. Polegają one na tym, że prosimy LLM o wygenerowanie określonych typów wejść. Obecnie jest dostępnych na rynku wiele metod i narzędzi wspierających ten proces, takich jak LlamaIndex czy Ragas. Wygenerowane dane syntetyczne należy sprawdzić pod kątem jakości i trafności. Czasem potrzeba kilku powtórzeń promptowania i weryfikacji, by uzyskać satysfakcjonujący zbiór testowy.
Przeprowadź analizę błędów.
Kolejnym krokiem jest uruchomienie każdego pytania z przygotowanego zestawu w aplikacji i ręczne przeanalizowanie odpowiedzi pod kątem tego, czy spełniają one oczekiwania. Czy odpowiadają na pytanie oraz czy spełniają inne kryteria, takie jak ton, styl oraz brak nieodpowiednich treści? Należy zidentyfikować wszystkie błędy i, w razie potrzeby, poprawić odpowiedzi modelu.
Rzeczywiści użytkownicy końcowi lub osoby, które potrafią wiernie reprezentować ich potrzeby, powinni odgrywać kluczową rolę na tym etapie. Tego typu analiza wpisuje się w praktyki data-centric AI, powszechne w pracy z uczeniem maszynowym i analizą danych, ale znacznie rzadziej stosowane w tradycyjnym tworzeniu oprogramowania.
Analiza danych wyjściowych to czasochłonne i wymagające zajęcie, dlatego często bywa pomijane. Jest jednak niezbędne. To właśnie dzięki niej zespół zyskuje dogłębną wiedzę o typach błędów, może zdefiniować odpowiednie testy do ich wychwycenia oraz dostosować LLM, by unikał powtarzania tych samych pomyłek.
Zautomatyzuj analizę błędów.
Po przeprowadzeniu pierwszej rundy analizy błędów zespół dysponuje już zestawem testowym, który zawiera wejścia i poprawne odpowiedzi (tzw. ground truth). Ma także zidentyfikowane typy błędów i pomysły na modyfikację promptów lub inne formy dostosowania modelu, które mają poprawić działanie aplikacji. Pojawia się jednak pytanie: jak sprawdzić, czy wprowadzone zmiany rzeczywiście przyniosły poprawę? Żmudna, ręczna analiza po każdej zmianie w aplikacji nie jest praktyczna. Konieczne jest zatem wdrożenie automatyzacji tego procesu.
W wielu przypadkach można napisać kod automatycznie sprawdzający błędy. Przykład: prompt dla LLM może zawierać ogólne zalecenia, takie jak „nie twórz ani nie udostępniaj adresów URL” albo „nie generuj adresów e-mail”. W takim przypadku łatwo napisać program, który sprawdzi, czy odpowiedź modelu zawiera takie elementy.
Podobne podejście sprawdza się również wtedy, gdy odpowiedzi mają prostą lub jasno określoną strukturę, przykładowo w przypadku pytań wielokrotnego wyboru.
Niestety, ta metoda także ma swoje ograniczenia. Jak bowiem automatycznie sprawdzić, czy streszczenie artykułu wygenerowane przez LLM rzeczywiście jest wierne oryginałowi? Jak ocenić, czy odpowiedź nie zawiera slangu? W przypadku otwartych zadań tego typu wykorzystuje się metodę określaną jako „LLM jako sędzia” (LLM-as-a-judge). Zespół przekazuje do drugiego modelu LLM dane wejściowe oraz odpowiedź wygenerowaną przez pierwszy model. Podaje również poprawną wersję odpowiedzi, a następnie zadaje pytanie, czy wynik odpowiada wzorcowi i spełnia określone kryteria.
Ponieważ „sędziujący” model także może popełniać błędy lub generować halucynacje (jak każdy LLM), trzeba porównać jego oceny z ocenami „ludzkimi” w całym zestawie pytań. Ten proces powtarza się do momentu, aż oceny obu stron będą w dużej mierze zgodne.
W przypadku zarówno bezpośredniego automatycznego sprawdzania błędów, jak i ewaluacji typu LLM-as-a-judge, dostawcy modeli udostępniają gotowe szablony kodu, które umożliwiają wdrożenie wielu przydatnych testów. Korzystając z tych bibliotek, zespół może szybko zaimplementować własny proces ewaluacji.
Stwórz strukturę wspierającą szybki postęp
Na tym etapie procesu zespół ma już fundament umożliwiający szybkie iteracje: po każdej zmianie w aplikacji może „wcisnąć przycisk”, uruchomić kod sprawdzający błędy i natychmiast zobaczyć, które z nich zostały wyeliminowane, które uległy pogorszeniu (np. wskutek niezamierzonych skutków ubocznych), a które należy potraktować priorytetowo w kolejnych działaniach.
Gdy aplikacja przejdzie testy ewaluacyjne i zespół szykuje się do wdrożenia, pora na ostatni istotny krok. Należy zaimplementować logowanie wszystkich szczegółów interakcji użytkowników z modelem. Takie zapisy są bezcenne, jeśli chce się utrzymać przydatność aplikacji po jej uruchomieniu.
Po wdrożeniu rozwiązania zespół powinien regularnie analizować otrzymane logi. Dane wejściowe, które pochodzą od rzeczywistych użytkowników, będą prawdopodobnie znacznie bardziej zróżnicowane niż wygenerowany zestaw testowy. To oznacza, że automatyczny kod do wykrywania błędów może nie wychwycić wszystkich przypadków nieprawidłowych lub nieoczekiwanych odpowiedzi LLM. Z tego względu należy cyklicznie powtarzać opisany wcześniej proces. Dodawać nowe dane wejściowe do zestawu testowego, sprawdzać, czy LLM radzi sobie z nimi prawidłowo, i aktualizować kod wykrywający błędy tak, by obejmował również nowe przypadki.
Dobrą wiadomością jest to, że cały proces można znacząco usprawnić dzięki wyspecjalizowanym narzędziom wspierającym budowę i realizację evals, takim jak Promptfoo, Humanloop czy DeepEval.
Ten proces ułatwia również tworzenie zbiorów danych do instruction fine-tuning, gdy zespół potrzebuje zarówno różnorodnych zapytań, jak i odpowiedzi wysokiej jakości. Ewaluacja wspiera oba te aspekty. Deweloperzy mogą efektywnie generować dane wejściowe, wykorzystując dane syntetyczne (a także rzeczywiste dane od użytkowników), a jakość odpowiedzi poprawia się dzięki automatycznemu odfiltrowywaniu błędnych wyników przez kod sprawdzający.
Rygorystyczny proces ewaluacji to kluczowy czynnik sukcesu w projektach rozwoju aplikacji opartych na LLM. Przekłada się on na lepsze aplikacje i wyższą satysfakcję użytkowników, nawet wtedy, gdy bazowe modele lub ich potrzeby się zmieniają. Dlatego liderzy, zarówno ci zajmujący się działalnością operacyjną przedsiębiorstwa, jak i ci zarządzający działami IT, powinni zapewnić zespołom czas i budżet na inwestycje w ewaluacje. Powinni także egzekwować, by stały się one nieodzownym elementem procesu rozwoju wszelkich aplikacji opartych na LLM.
