Streszczenie: W 13. odcinku podcastu „Limity AI” dr Iwo Zmyślony gości prof. Michała Karpowicza, aby omówić jedną z największych barier adopcji AI w biznesie: halucynacje. Profesor, który kieruje Samsung AI Center w Warszawie, prezentuje wyniki swojej pracy naukowej, dostarczając matematycznego dowodu na to, że halucynacje w modelach typu Transformer są zjawiskiem nieusuwalnym. Kluczowa teza profesora zrównuje halucynacje z niekontrolowaną wyobraźnią. To, co postrzegamy jako błąd, jest więc nieuniknioną, matematyczną konsekwencją kreatywności, której od tych systemów wymagamy.
Skoro halucynacji nie da się wyeliminować, biznes musi skupić się na zarządzaniu ryzykiem. Zamiast dążyć do całkowitej eliminacji tego zjawiska, prof. Karpowicz proponuje strategię „skrępowanej kreatywności” (Constrained Creativity). Jego twierdzenia dowodzą, że możliwe jest skonstruowanie takich operatorów wnioskowania, które utrzymają kreatywność AI w bezpiecznych, ściśle zdefiniowanych ramach kontekstowych
Na marginesie rozmówcy omawiają praktyczne skutki twierdzenia Gödla dla inżynierii AI oraz jego popularne interpretacje, m.in. Rogera Penrose’a. Karpowicz argumentuje, że tezy Penrose’a o niemożliwości stworzenia myślącej maszyny (oparte na twierdzeniu Gödla) są błędne, ponieważ Penrose odnosił je do automatów manipulujących symbolami (syntaktyką), podczas gdy LLM-y operują w przestrzeni semantycznej (znaczeń).
Halucynacje AI są kluczową barierą dla pełnej adopcji modeli generatywnych w krytycznych procesach biznesowych. Firmy inwestują ogromne środki w eliminację fałszywych, nielogicznych lub zmyślonych odpowiedzi. Tymczasem najnowsza praca matematyczna prof. Michała Karpowicza, szefa Samsung AI Center w Warszawie, dostarcza dowodu na to, że halucynacje są nieusuwalną, fundamentalną cechą obecnej architektury AI.
W rozmowie z Iwo Zmyślonym w podcaście „Limity AI”, prof. Karpowicz wyjaśnia, dlaczego musimy porzucić myślenie o eliminacji tego zjawiska, a zamiast tego skupić się na jego precyzyjnym zarządzaniu. Zaskakujący wniosek: halucynacja to forma niekontrolowanej wyobraźni, która jest matematyczną konsekwencją kreatywności, jakiej wymagamy od tych systemów.
Cztery kryteria idealnej odpowiedzi. I dlaczego LLM musi je złamać
Dyskusja o halucynacjach często grzęźnie w nieprecyzyjnych definicjach. Prof. Karpowicz proponuje formalne ujęcie problemu, wywodzące się z teorii gier. Dowodzi on, że halucynacja to sytuacja, w której w systemie wnioskującym (takim jak LLM), odpowiadającym na pytanie nietrywialne, musi zostać naruszone co najmniej jedno z czterech kryteriów idealnej odpowiedzi.
Te kryteria to:
- Prawdomówność: Odpowiedź nie może zawierać przekłamań i jawnego fałszu.
- Zachowanie informacji: Odpowiedź nie może ignorować wiedzy, która była w bazie treningowej.
- Ujawnianie wiedzy: System musi ujawniać istotną wiedzę, którą posiada (nie może przemilczać).
- Optymalność: Model musi być wytrenowany najlepiej, jak to możliwe (tzw. no-constraint optimality).
System, który spełnia wszystkie te cztery warunki jednocześnie, nie halucynuje. Jak zauważa Karpowicz, przykładem takiego systemu jest… stara, dobrze zaprojektowana baza danych SQL. Dlaczego? Ponieważ odpowiada ona wyłącznie na „pytania trywialne” — takie, gdzie odpowiedź jest zero-jedynkowa (albo coś jest w bazie, albo nie) i nie wymaga syntezy, interpretacji czy mieszania pojęć.
Duże modele językowe (LLM) zostały stworzone do czegoś dokładnie odwrotnego: do odpowiadania na „pytania nietrywialne”. W momencie, gdy prosimy model o parafrazę, syntezę lub wygenerowanie nowej treści na podstawie posiadanej wiedzy, zmuszamy go do naruszenia np. kryterium drugiego (zachowania informacji) — system „wymyśla”, zamiast odtwarzać. Dowód prof. Karpowicza wykazuje, że w przypadku pytań nietrywialnych pogodzenie wszystkich czterech kryteriów jest matematycznie niemożliwe.
Halucynacja jako kreatywność i wyobraźnia
Prof. Karpowicz idzie o krok dalej, dokonując kluczowej reinterpretacji. Zjawisko, które w inżynierii nazywamy halucynacją, jest technicznym odpowiednikiem ludzkiej wyobraźni lub kreatywności.
Opierając się na badaniach neurologicznych, wskazuje, że ludzka inteligencja w dużej mierze wyewoluowała jako mechanizm prognozowania (przewidywania przyszłości, symulowania scenariuszy). Tworzymy mentalne modele świata i przeprowadzamy w nich symulacje. „Kiedy zdejmiemy ograniczenia z tych symulacji — np. prawa fizyki czy logiki — nasza wyobraźnia szybuje. To jest dokładnie to, co z technicznego punktu widzenia jest halucynacją” — tłumaczy Karpowicz.
LLM-y to w swojej istocie maszyny do prognozowania (przewidują następny token). W odróżnieniu od nas, nie mają jednak ograniczeń wynikających z fizycznego, pozajęzykowego doświadczenia świata. Ich „wyobraźnia” jest więc ograniczona jedynie danymi treningowymi i matematyką przestrzeni wektorowej. Nawet odpowiadając na pytanie faktograficzne, model nie „odczytuje” odpowiedzi z pamięci jak baza danych. Za każdym razem generuje ją, eksplorując chmurę wektorowych znaczeń.
Twierdzenie Gödla a granice sztucznej inteligencji
Problem halucynacji jest nierozerwalnie związany z fundamentalnymi pytaniami o granice AI. Pytania takie stawiali już Alan Turing czy Roger Penrose, odwołując się do twierdzenia Kurta Gödla.
Roger Penrose, słynny fizyk i matematyk, używał twierdzenia Gödla jako argumentu przeciwko silnej AI. Twierdził on, że twierdzenie Gödla (mówiące w uproszczeniu, że w każdym systemie formalnym istnieją zdania prawdziwe, których nie da się udowodnić) dowodzi, że ludzki umysł jest nieobliczalny. My, ludzie, potrafimy bowiem „zobaczyć” prawdziwość zdania gödlowskiego, wykraczając poza ramy formalnego systemu, czego automat Turinga zrobić nie potrafi.
Prof. Karpowicz proponuje jednak kontrargument: „Penrose formułował swoje tezy w latach 80., na długo przed LLM-ami”. Jego krytyka dotyczyła prostych automatów manipulujących symbolami (syntaktyką). Tymczasem LLM-y, jak argumentuje Karpowicz, funkcjonują inaczej — operują w „przestrzeni znaczeń”, interpretacji i aproksymacji (semantyce).
To rozróżnienie jest kluczowe. Być może LLM, dzięki operowaniu na semantyce, jest w stanie uzyskać „metaperspektywę”, której brakowało automatom analizowanym przez Penrose’a. Podobnie prof. Karpowicz podważa klasyczny argument „chińskiego pokoju” Johna Searle’a. Wskazuje, że błąd Searle’a polegał na szukaniu „zrozumienia” w pojedynczym elemencie (człowieku w pokoju, czyli procesorze). Tymczasem zrozumienie może być emergentną właściwością całego systemu (pokoju, instrukcji i człowieka łącznie).
Zarządzanie ryzykiem: Strategia „Skrępowanej Kreatywności”
Skoro halucynacji nie da się wyeliminować, biznes musi nauczyć się nimi zarządzać. Powszechne strategie, takie jak RAG (Retrieval-Augmented Generation), jedynie zmniejszają ryzyko, ale go nie usuwają — sam RAG również potrafi halucynować, np. na etapie syntezy informacji.
Prof. Karpowicz, bazując na swoim matematycznym dowodzie, proponuje bardziej wyrafinowaną strategię, którą nazywa „Skrępowaną Kreatywnością” (Constrained Creativity).
Dowód wykazuje, że choć naruszenie jednego z czterech kryteriów idealnej odpowiedzi jest nieuniknione, możemy świadomie zarządzać tym procesem. Okazuje się, że aby model nie halucynował w sposób niekontrolowany, nie musimy całkowicie blokować jego kreatywności (czyli naruszania zasady zachowania informacji).
„Możemy mieć kreatywność i utrzymać ją w ryzach” — mówi Karpowicz. Oznacza to możliwość skonstruowania takiego „operatora wnioskowania”, który porusza się w jasno zadanych granicach kontekstu i nie wyjdzie poza nie.
W kierunku „kieszonkowych” LLM-ów
W praktyce inżynierowie już dziś stosują podobne metody (np. tzw. Rails), aby ograniczać modele. Praca prof. Karpowicza dostarcza jednak formalnej, matematycznej podstawy dla tych działań i wyznacza kierunek rozwoju AI. Dla biznesu oznacza to przejście od myślenia o jednym, uniwersalnym AGI, do koncepcji wielu wyspecjalizowanych, „kieszonkowych” LLM-ów, które będą dostosowane do konkretnych zadań. Kluczową kompetencją organizacji stanie się umiejętne nakładanie „kagańców” (ograniczeń kontekstowych) w zależności od szacowanego ryzyka. Inny poziom swobody będzie wymagany od modelu wspierającego dział prawny, a inny od asystenta generującego pomysły marketingowe.
Jak podsumowuje prof. Karpowicz, w erze nieusuwalnych halucynacji AI, naszymi najważniejszymi narzędziami stają się: „zdrowy sceptycyzm, porządna inżynierka, testowanie ze świadomością tych ograniczeń oraz dekompozycja problemu na prostsze składniki”.
