Streszczenie: Agentowa AI – autonomiczna, adaptacyjna i zdolna do podejmowania decyzji bez nadzoru – zmusza organizacje do ponownego przemyślenia tradycyjnych modeli zarządzania. Eksperci uważają, że potrzebujemy nowych ram, które uwzględnią szybkość, skalę i nieprzejrzystość działania tych systemów. Kluczowe wyzwania to: przypisanie odpowiedzialności ludziom, iteracyjny nadzór nad AI, redefinicja relacji człowiek-maszyna i kontrola nad AI, która tworzy inne AI. Krytycy ostrzegają jednak przed „ekscepcjonalizmem AI”, podkreślając, że odpowiedzialność zawsze musi pozostać po stronie człowieka – niezależnie od poziomu autonomii technologii.
Eksperci debatują, czy wdrożenie agentowej sztucznej inteligencji wymaga nowego podejścia do zarządzania.
Już czwarty rok z rzędu „MIT Sloan Management Review” i Boston Consulting Group (BCG) gromadzą międzynarodowy panel ekspertów w dziedzinie sztucznej inteligencji złożony zarówno z naukowców, jak i praktyków, aby lepiej zrozumieć, jak w organizacjach na całym świecie wdrażana jest odpowiedzialna sztuczna inteligencja (responsible AI). Wiosną 2025 r. przeprowadziliśmy również globalne badanie wśród kadry zarządzającej, zebraliśmy 1 221 odpowiedzi na temat tego, w jakim stopniu przedsiębiorstwa zajmują się kwestią odpowiedzialnego wykorzystania AI. Ostatnio badaliśmy zależność między możliwością wyjaśnienia działań AI a nadzorem człowieka jako kluczowymi mechanizmami odpowiedzialności za systemy AI. Tym razem przyglądamy się bliżej kwestii odpowiedzialności w kontekście agentowej sztucznej inteligencji (agentic AI). Choć nie ma jednej powszechnie przyjętej definicji, termin ten odnosi się ogólnie do systemów AI, które samodzielnie, bez stałego nadzoru człowieka dążą do realizacji celów, podejmując decyzje, wykonując działania i adaptując się do zmieniającego się otoczenia. MIT AI Agent Index wskazuje, że wykorzystanie tego typu systemów rośnie zwłaszcza w takich obszarach jak inżynieria oprogramowania czy obsługa klienta. Dzieje się to pomimo ograniczonej transparentności w zakresie technicznych komponentów takich rozwiązań, ich przeznaczenia oraz poziomu bezpieczeństwa.
W obliczu wyraźnej luki w nadzorze nad tego typu systemami zapytaliśmy naszych ekspertów, co sądzą o następującej tezie: „Egzekwowanie odpowiedzialności agentów AI za ich decyzje i działania wymaga nowego podejścia do zarządzania”. Wyraźna większość (69%) zgodziła się lub zdecydowanie się zgodziła z tym stwierdzeniem, argumentując, że oznacza ona zmianę paradygmatu. Ze względu na zdolność do samodzielnego wykonywania złożonych zadań na dużą skalę oraz potencjał stworzenia „ponadludzkiej siły roboczej”. Wielu ekspertów podkreśla, że tradycyjne ramy zarządzania trzeba ponownie przemyśleć, by dostosować je do nowej rzeczywistości, w której ludzie coraz częściej współpracują z agentami AI w codziennej pracy. Jednak znacząca mniejszość (25%) nie zgadza się z tym podejściem, ostrzegając przed tak zwanym ekscepcjonalizmem AI (AI exceptionalism), który może odciągać uwagę od odpowiedzialności konkretnych osób i organizacji. Zdaniem tej grupy istniejące modele zarządzania da się dostosować w taki sposób, by nadal jasno przypisywać odpowiedzialność człowiekowi za projektowanie, działanie i skutki wykorzystania systemów agentowej AI.
Poniżej dzielimy się spostrzeżeniami uczestników naszego panelu oraz wykorzystujemy własne doświadczenia w obszarze odpowiedzialnej AI. Chcemy zaproponować sposób, w jaki organizacje mogą wdrażać nowe podejścia do zarządzania lub przemyśleć te istniejące, by skuteczniej zadbać o odpowiedzialność i nadzór nad systemami agentowej AI oraz hybrydowym środowiskiem pracy człowiek–AI.
Systemy agentowej AI podważają zasadność tradycyjnych modeli zarządzania. Większość ekspertów uważa, że zaistniała sytuacja wymaga nowych podejść zarządczych ze względu na znacznie wyższy poziom autonomii i złożoności systemów w porównaniu do wcześniejszych technologii. Jak zauważa Shamina Singh, prezes Mastercard Center for Inclusive Growth: „Te systemy wnoszą niespotykany dotąd poziom autonomii, złożoności i ryzyka, zmuszając organizacje do ponownego przemyślenia tradycyjnych strategii zarządzania.” Jai Ganesh, Chief Product Officer w Harman International, podkreśla, że tradycyjne systemy zarządzania zaprojektowano z myślą o systemach deterministycznych, podczas gdy „systemy agentowej AI działają niezależnie, są zorientowane na cel, dysponują pamięcią i zdolnością rozumowania, co sprawia, że ich decyzje są złożone, autonomiczne i nieprzejrzyste”. Jego zdaniem oznacza to konieczność precyzyjnego określenia ról agentów AI, w tym:
– zakresu dozwolonych decyzji,
– zasad użycia danych,
– granic etycznych,
– progów zaufania i mechanizmów eskalacji.
W przypadku ludzi te granice istnieją w sposób domyślny, opierają się na ocenie menedżera i pracownika. Agentowa AI wymaga jednak wyraźnie zdefiniowanych reguł i progów decyzyjnych. Ustalenie ich w sposób trafny i skuteczny jest wyjątkowo trudne i wykracza poza ramy tradycyjnego zarządzania. Yan Chow z Automation Anywhere dodaje: „Ustalanie przyczyn i odpowiedzialności staje się niezwykle trudne, zwłaszcza w przypadku złożonych, autonomicznych i nietransparentnych systemów AI”.
Nasi eksperci zwracają również uwagę na ponadludzką szybkość i skalę działania agentowej AI, które stanowią szczególne wyzwanie dla obecnych modeli zarządzania.
Shelley McKinley, Chief Legal Officer w GitHub, zauważa: „Dzisiejsze procesy pracy nie zostały zaprojektowane z myślą o tempie i skali działania AI, dlatego konieczne będą nowe modele nadzoru, bardziej przejrzyste ścieżki decyzyjne oraz przeprojektowane procesy, które umożliwią śledzenie, audytowanie i interwencję w decyzje podejmowane przez AI.”
Zobacz także: Czy potrzebujesz Agentów AI w swojej firmie?
Tshilidzi Marwala z United Nations University zgadza się, że ze względu na autonomiczne podejmowanie decyzji, zdolność do uczenia adaptacyjnego i bardzo dużą szybkość działania, agentowa AI stanowi wyzwanie dla tradycyjnych modeli zarządzania tworzonych z myślą o sprawczości ludzkiej. David Hardoon, dyrektor ds. wdrażania AI w Standard Chartered Bank, ostrzega: „Stare modele zarządzania, oparte na tempie działania człowieka, nie nadążają za dynamicznym zachowaniem AI, co grozi błędami lub szkodami, które mogą pozostać niezauważone”. Dodaje również, że może to prowadzić do poważnych konsekwencji, jeśli nie zostanie odpowiednio skontrolowane, dlatego konieczne staje się automatyczne monitorowanie działań AI z wbudowanymi barierami etycznymi.
W obliczu tych wyzwań kilku ekspertów z panelu apeluje o ciągły, iteracyjny nadzór. Jak wyjaśnia Franziska Weindauer, CEO TÜV AI.Lab: „Te systemy podejmują decyzje samodzielnie, a ich działania mogą mieć bezpośredni wpływ na ludzi, procesy operacyjne i decyzje krytyczne”. Jej zdaniem skuteczne zarządzanie AI oznacza, że człowiek musi być zaangażowany przez cały cykl życia systemu. Jednocześnie dodaje: „Nie wystarczy raz odhaczyć listę kontrolną i uznać sprawę za zamkniętą. Aby utrzymać odpowiedzialność, organizacje potrzebują narzędzi i procesów, które będą towarzyszyć systemom AI przez cały okres ich użytkowania”. Douglas Hamilton, szef badań i inżynierii AI w Nasdaq, proponuje, by okresowe, szybkie przeglądy procesów przekształcić w techniczny proces uczenia się i projektowania oparty na wskaźnikach zwrotu z inwestycji (ROI). Zaznacza również, że menedżerowie będą potrzebować nowych kompetencji, by sprawować skuteczny nadzór, a projektanci agentowej AI muszą tworzyć systemy umożliwiające taki nadzór.
Agentowa AI wymusza ponowne przemyślenie relacji między ludźmi a maszynami.
Zarządzanie agentową AI wymaga nie tylko nadzoru technicznego, lecz także jasnego określenia relacji między człowiekiem a agentem AI. Katia Walsh, liderka ds. AI w Apollo Global Management, opowiada się za następującym modelem współpracy: „Jeśli będziemy działać odpowiedzialnie, ludzie będą współpracować z agentami AI, nadzorować ich działania i dbać o to, by ‘cyfrowi pracownicy’ osiągali swoje cele w sposób etyczny”. Inni jednak zadają pytania o granice takiego nadzoru. Alyssa Lefaivre Škopac, dyrektorka ds. zaufania i bezpieczeństwa AI w Alberta Machine Intelligence Institute, zauważa: „Prawdziwe wyzwanie pojawia się wtedy, gdy to człowiek błędnie nadpisuje decyzję AI. Czy decyzje ludzkie zawsze powinny mieć pierwszeństwo, czy może są sytuacje, w których to AI powinno mieć decydujący głos?”. Podobnie Hamilton ostrzega, że systemy agentowe zmuszają menedżerów do przemyślenia:
– jakie są konsekwencje błędnych decyzji,
– które działania można zaakceptować bez udziału człowieka,
– które muszą wymagać interwencji lub zatwierdzenia przez człowieka.
Zgadzam się
„Bycie odpowiedzialnym oznacza konieczność wyjaśniania i uzasadniania swoich działań i decyzji oraz, w razie potrzeby, ponoszenia konsekwencji za niewłaściwe postępowanie. W przypadku agentowej AI pojawia się jednak problem, ponieważ istotne mechanizmy kontroli społecznej, takie jak wzbudzanie poczucia winy czy wstydu, nie działają w odniesieniu do agentów AI. Zarządzanie agentową AI w duchu odpowiedzialności wymaga więc opracowania nowych, skutecznych mechanizmów sankcjonowania niewłaściwych działań”.
Johann Laux
Oxford Internet Institute
Nasi eksperci podkreślili również, że wszyscy musimy na nowo przemyśleć pojęcie odpowiedzialności, ponieważ agenty AI nie są ludźmi. To oznacza, że nie możemy pociągać ich do odpowiedzialności w taki sam sposób. „Ponieważ AI nie posiada osobowości prawnej – zauważa Yan Chow – nie można jej bezpośrednio pozwać, uwięzić ani formalnie obarczyć odpowiedzialnością tak, jak ludzi czy firmy”. Tshilidzi Marwala dodaje: „Potrzebujemy nowych ram prawnych i etycznych, ponieważ obecne systemy prawne nie uznają AI za podmiot prawny. Konieczne jest więc przejrzyste zarządzanie cyklem życia systemów AI, wykraczające poza tradycyjne wskaźniki efektywności”. Shelley McKinley z GitHub zauważa: „Skoro AI nie jest osobą ani podmiotem prawnym, odpowiedzialność za jej decyzje i działania musi być od początku rozszerzona i rozumiana jako wspólna”. Wyjaśnia dalej: „Twórcy agentowej AI muszą od początku wbudowywać w systemy takie elementy jak przejrzystość i nadzór człowieka, To użytkownicy byliby odpowiedzialni za odpowiednie wdrażanie, monitorowanie i dokumentowanie skutków działania AI”.
Ostatecznie chodzi o powierzenie odpowiedzialności ludziom, a nie AI.
Nie wszyscy zgadzają się z tezą, że agentowa AI wymaga całkowicie nowych modeli zarządzania. Ben Dias, główny naukowiec ds. AI w IAG, odrzuca pogląd, jakoby „sztuczna inteligencja wymagała rewolucyjnych zmian w sprawdzonych praktykach organizacyjnych”. Jak argumentuje: „Przecież menedżerowie zazwyczaj delegują zadania do członków zespołu, których procesu decyzyjnego nie są w stanie w pełni przewidzieć ani kontrolować, a mimo to utrzymują nadzór dzięki jasno określonym granicom, orientacji na rezultaty i odpowiedniemu monitoringowi”. Dla Diasa agenty AI to po prostu „nowy typ członka zespołu w dobrze znanym już modelu”. Podobnie uważa Manoj Saxena, przewodniczący RAI Institute, który stwierdza: „Jeśli AI zachowuje się jak pracownik (albo co gorsza jak zespół freelancerów), to czas zacząć zarządzać nią jak pracownikami”.
Stanowczo się nie zgadzam
„Agentowa AI nie wymaga nowej doktryny zarządzania. Wymaga odwagi. Już dziś zarządzamy systemami, które są szybkie, złożone i nieprzejrzyste jak energetyka jądrowa, algorytmiczny handel na giełdzie czy lotnictwo. Wzywanie do tworzenia nowych modeli nadzoru to często sposób ucieczki, czyli unikania wskazania konkretnej odpowiedzialnej osoby. Jeśli wdrażasz systemy agentów na dużą skalę i nie potrafisz odpowiedzieć na pytanie: ‘Kto ponosi odpowiedzialność, jeśli coś pójdzie nie tak?’, to nie jesteś innowacyjny. Po prostu przerzucasz winę. Prawdziwe zarządzanie zaczyna się od nazwiska, nie od frameworku”.
Amit Shah
Instalily.ai
Inni również uważają, że wezwania do tworzenia nowych modeli zarządzania są nie na miejscu. Richard Benjamins, jeden z CEO RAIght.ai, stwierdza: „Twierdzenie, że potrzebujemy nowych podejść do zarządzania, ponieważ odpowiedzialność przenosi się z ludzi na systemy agentowej AI, to na obecnym etapie rozwoju zbyt daleko idący wniosek”. Zamiast tego eksperci ci podkreślają, że odpowiedzialność musi pozostać po stronie ludzi i organizacji stojących za technologią. Jak mówi Steven Vosloo z UNICEF: „Trzeba jasno powiedzieć, że agentowa AI (czyli oprogramowanie) nie może ponosić odpowiedzialności za swoje decyzje i działania i że odpowiedzialność spoczywa na ludziach, którzy tworzą i wdrażają to oprogramowanie”. Rebecca Finlay, CEO Partnership on AI, podziela ten pogląd: „Pociągnięcie agentów AI do odpowiedzialności oznacza pociągnięcie siebie i innych do odpowiedzialności za wybory, jakie podejmujemy, decydując, jak i kiedy korzystamy z tej technologii”. Mark Surman, prezes Mozilli, podsumowuje to jasno: „Odpowiedzialność ponoszą ci, którzy wdrażają systemy AI i udostępniają je użytkownikom końcowym, nie sama AI”.
Rekomendacje
Podsumowując, przedstawiamy następujące rekomendacje dla organizacji, które chcą zwiększyć poziom odpowiedzialności w zarządzaniu systemami agentowej AI:
1. Wprowadź zarządzanie oparte na cyklu życia systemu.
Agentowa AI działa szybko, w sposób złożony i dynamiczny. Zamiast traktować nadzór jako jednorazowe działanie, należy wdrożyć ciągły i iteracyjny proces zarządczy, który obejmuje cały cykl życia systemu. Od fazy projektowania, przez wdrożenie, aż po bieżące użytkowanie. Zamiast pojedynczych przeglądów wprowadź cykliczne oceny, audyty techniczne i monitorowanie efektywności, by w czasie rzeczywistym wykrywać i rozwiązywać problemy. Zarządzanie powinno być na stałe zintegrowane z codziennym funkcjonowaniem organizacji, a nie ograniczać się do okazjonalnych działań w obszarze compliance.
2. Zintegruj odpowiedzialność ludzką z ramami nadzoru nad AI.
Tworząc systemy zarządzania, należy jednoznacznie przypisać role i odpowiedzialność zarówno ludziom (menedżerom), jak i systemom agentowej AI na każdym etapie cyklu życia produktu. Wdrożenie systemu agentowego powinno obejmować jasne protokoły decyzyjne, ścieżki eskalacji i punkty kontrolne oceny tak, aby odpowiedzialność za wyniki zawsze pozostawała po stronie człowieka. Tego typu struktury powinny wzmacniać przekonanie, że agentowa AI to narzędzie w procesie kierowanym przez ludzi, a nie samodzielny decydent.
3. Zezwalaj na podejmowanie decyzji przez AI tylko w ściśle określonych sytuacjach.
Choć nadzór człowieka jest niezbędny, specyfika agentów AI wystawia jego granice na próbę. Nowe podejścia do zarządzania powinny identyfikować obszary, w których AI może i powinna mieć decydujący głos ze względu na przewagę w szybkości, precyzji czy spójności działania. W takich przypadkach zarządzanie powinno koncentrować się na określeniu granic działania, monitorowaniu wyników oraz zapewnieniu, że interwencja człowieka zarezerwowana jest dla sytuacji wyższego ryzyka. Odpowiedzialność w tych scenariuszach powinna zostać uzgodniona na poziomie najwyższego kierownictwa i jasno zakomunikowana menedżerom, aby w pełni rozumieli swoją rolę i zakres odpowiedzialności.
4. Przygotuj się na agentową AI, która tworzy inne systemy AI.
Nieuwzględnianie systemów AI tworzonych lub modyfikowanych autonomicznie przez inne systemy AI może prowadzić do poważnej utraty kontroli nad zakresem technologii stosowanej w organizacji. Rozpoznanie i integracja tych „wtórnych” systemów będą kluczowe dla określenia realnego zakresu zastosowania AI w przedsiębiorstwie. Struktury nadzoru i modele zarządzania, które nie uwzględniają „potomstwa” AI, mogą nie tylko nie ograniczać ryzyka, lecz wręcz je pogłębiać.
5. W przypadku agentowej AI to, co domyślne, musi stać się jawne.
Ponieważ agentowa AI wymaga precyzyjnie określonych zasad działania i ustalenia wartości granicznych dla decyzji, organizacje powinny jasno zdefiniować jej rolę i zakres działania w strukturach zarządzania. Tak jak praca ludzka skalowana jest poprzez systemy hierarchiczne i struktury organizacyjne precyzujące odpowiedzialność, tak integracja agentowej AI wymaga świadomego i jawnego określenia jej miejsca w organizacji, w tym relacji do komponentu ludzkiego w rosnąco „ponadludzkim” środowisku pracy.
Zobacz także: Jak cztery wielkie firmy wykorzystują AI do transformacji kosztów
