Postęp w dziedzinie sztucznej inteligencji może wyhamować, jeśli końcowi użytkownicy odmówią korzystania z nowych rozwiązań. Ich twórcy muszą więc myśleć nie tylko o korzyściach biznesowych, ale też o tym jak odnieść się do obaw ludzi.

Jest poniedziałek, 10 rano. Aman, jeden z twórców nowego narzędzia wykorzystującego sztuczną inteligencję (AI) jest podekscytowany. To właśnie dzisiaj zostanie ono oddane do użytku. Kierownictwo oddziału intensywnej terapii w Duke University Hospital poprosiło Amana i jego współpracowników o opracowanie rozwiązania AI pozwalającego zapobiegać przepełnieniu oddziału. Dotychczasowe doświadczenia szpitala dowodzą, że pacjenci z pewną formą zawału serca, są zatrzymywani w szpitalu, choć nie jest to w ich przypadku konieczne. Szefowie oddziału mieli więc nadzieję, że sztuczna inteligencja pomoże lekarzom pracującym na izbie przyjęć zidentyfikować takich właśnie pacjentów, by móc ich  skierować na obserwację poza OIOM–em. Pozwoliłoby to nie tylko poprawić jakość leczenia, ale też zredukować niepotrzebne koszty.

Aman i kierowany przez niego zespół kardiologów, analityków danych, informatyków i menedżerów projektu opracował algorytm AI, który ma pomagać lekarzom w łatwym wyłuskaniu takich pacjentów spośród wszystkich innych osób z objawami zawału. Algortym miałby też służyć temu, by w karcie medycznej pacjenta znalazło się wyjaśnienie, dlaczego nie ma konieczności hospitalizacji na oddziale intensywnej terapii. Po roku od rozpoczęcia prac narzędzie jest gotowe do użycia.

A teraz przeskoczmy o trzy tygodnie dalej. Implementacja narzędzia była całkowitą klapą. Jeden z lekarzy ostrego dyżuru skomentował ją następująco: “nie potrzebujemy rozwiązania, które mówi nam jak mamy wykonywać swoją pracę”. Okazuje się, że to typowa reakcja na wdrożenie AI usprawniającej proces decyzyjny. Wielu pracowników działających na pierwszej linii myśli podobnie. Nieustannie zajęci lekarze izby przyjęć, w której stale coś się dzieje, protestują gdy okazuje się, że muszą, poza wykonywaniem dotychczasowych obowiązków, wpisywać dane do systemu. Nie podoba im się także to, że nowe osoby z zewnątrz, które nie mają pojęcia o funkcjonowaniu izby przyjęć, wkraczają w obszar ich kompetencji.

Podobne nieudane implementacje AI zdarzają się także w innych sektorach, pomimo faktu, że nowe metody pracy mogłyby pomóc organizacjom poprawiać jakość produktów i usług, zredukować koszty i zwiększyć przychody. Użytkownicy końcowi najczęściej bronią się przed wykorzystywaniem narzędzi AI mających wspomagać proces decyzyjny, ponieważ korzyści dla nich samych nie są znaczące. Implementacja może ponadto oznaczać, że będą mieli więcej pracy i mniej autonomii.

Problemem są także sprzeczne interesy użytkowników końcowych oraz menedżerów najwyższego szczebla, czy interesariuszy w innych częściach organizacji, w których wdrażane są innowacyjne technologie. Problem ten nie jest nowy, ale stał się znacznie bardziej palący od momentu pojawienia się narzędzi AI, ponieważ to one, korzystając z metot na podstawie predykcji zalecają one podjęcie konkretnych działań, które mogą mieć poważne konsekwencje dla całych organizacji. Wymagają ponadto jasnych reguł i pracochłonnego procesu tworzenia oraz stałej współpracy deweloperów i użytkowników końcowych.

Co mogą więc zrobić liderzy zajmujący się wdrażaniem rozwiązań AI, aby zwiększyć poziom akceptacji dla tych technologii wśród użytkowników końcowych? Nasze obserwacje procesów projektowania, tworzenia i integracji 15 narzędzi wspomagających proces decyzyjny w Duke University Hospital wskazują na szereg dobrych praktyk, pozwalających zrównoważyć potrzeby wszystkich interesariuszy. Zauważyliśmy, że aby zwiększyć akceptację ze strony użytkowników i chęć korzystania z narzędzi AI, liderzy, zarówno na poziomie projektu, jak i całej organizacji, powinni pomyśleć o zwiększeniu korzyści związanych z użytkowaniem narzędzia, zmniejszyć ilość pracy związaną z implementacją i zadbać o autonomię pracowników, troszcząc się o to by mogli oni, bez przeszkód, wykonywać swoje główne zajęcia.

W trakcie naszych obserwacji, zbieraliśmy dane na temat wyzwań, jakich wdrażanie rozwiązań AI przysporzyło menedżerom szpitala, użytkownikom końcowym oraz deweloperom narzędzi. W szczególności interesowały nas narzędzia wspierające procesy decyzyjne, które zostały z sukcesem wdrożone. Choć nasze badania koncentrują się na wdrażaniu narzędzi AI wspomagających podejmowanie decyzji w branży ochrony zdrowia, zauważyliśmy, że podobne problemy i podobna dynamika charakteryzuje również inne branże: technologiczną, wytwórczą, ubezpieczeniową, telekomunikacyjną, czy handel detaliczny.

Przyczyny oporu ze strony użytkowników końcowych

Rozbieżności pomiędzy tym, co zespoły zajmujące się wdrożeniem rozwiązań AI planują zaimplementować a tym co końcowi użytkownicy są gotowi zaakceptować, mają swoje źródło w trzech podstawowych konfliktach interesów.