Streszczenie: Modele językowe oparte na sztucznej inteligencji, takie jak ChatGPT, umożliwiają cyberprzestępcom tworzenie komunikatów atakujących, które trudno odróżnić od tych napisanych przez człowieka. Eksperci z WithSecure przeprowadzili badania z wykorzystaniem modelu GPT-3, analizując, jak zmiany w danych wejściowych wpływają na generowane treści. Badania te obejmowały różne metody działania cyberprzestępców, takie jak phishing, spear-phishing, nękanie, uwierzytelnianie oszustw, przywłaszczanie stylu pisania, tworzenie polaryzujących opinii oraz generowanie fake newsów. Andy Patel, analityk WithSecure Intelligence, podkreśla, że powszechny dostęp do zaawansowanych modeli językowych sprawia, że każda otrzymana wiadomość może być dziełem bota. W związku z tym konieczne jest opracowanie strategii wykrywania, które potrafią zrozumieć znaczenie i cel tekstu pisanego, aby skutecznie przeciwdziałać potencjalnym zagrożeniom związanym z wykorzystaniem AI do generowania szkodliwych treści.
Modele językowe wykorzystujące sztuczną inteligencję, takie jak choćby ChatGPT, umożliwiają cyberprzestępcom zwiększanie skuteczności komunikacji będącej częścią ataku.
Powszechny dostęp do modeli sztucznej inteligencji (AI), które niemalże w czasie rzeczywistym dostarczają użytkownikom końcowym tekst brzmiący tak, jak napisany przez człowieka, to zdaniem ekspertów WithSecure punkt zwrotny w ewolucji cyberzagrożeń. Z tego względu postanowili przeprowadzić serię eksperymentów przy użyciu Generative Pre‑trained Transformer 3 (GPT‑3), czyli autoregresyjnego modelu języka, który wykorzystuje głębokie uczenie do tworzenia tekstu podobnego do ludzkiego. Wynika z nich, że modele językowe wykorzystujące AI mogą ułatwić cyberprzestępcom podszywanie się pod ludzi podczas wysyłania komunikatów będących częścią ataku.
Prawdziwa czy sztuczna inteligencja?
– Rozpoczęliśmy badania, zanim jeszcze ChatGPT udostępnił technologię GPT‑3 dla wszystkich – tłumaczy Andy Patel, analityk WithSecure Intelligence, który kierował badaniami. – Rozwój narzędzia zintensyfikował nasze wysiłki. Teraz w pewnym sensie wszyscy jesteśmy „łowcami androidów”, próbując dowiedzieć się, czy inteligencja, z którą mamy do czynienia, jest „prawdziwa”, czy sztuczna – podkreśla ekspert.
W prowadzonych eksperymentach badacze WithSecure bazowali na prompt engineering – koncepcji związanej z przetwarzaniem języka naturalnego (NLP). Polega ona na szukaniu danych wejściowych, które wprowadzone do modelu przynoszą pożądane lub użyteczne rezultaty. Eksperci sprawdzali, w jaki sposób mogą być generowane potencjalnie szkodliwe treści.
Zdaniem Patela obecnie każdy, kto posiada łącze internetowe, może mieć dostęp do zaawansowanych modeli językowych. Z tego względu, jak radzi ekspert, lepiej zakładać, że każda nowa wiadomość, którą otrzymujemy, mogła zostać stworzona przez bota.
– Możliwość wykorzystania AI do generowania zarówno szkodliwych, jak i użytecznych treści będzie wymagała strategii wykrywania, które są zdolne do zrozumienia znaczenia i celu tekstu pisanego – komentuje badacz.
Modele językowe kolejnym narzędziem w rękach cyberprzestępców
W eksperymentach przeprowadzonych przez ekspertów WithSecure (dawniej F‑Secure Business) oceniano, jak zmiany danych wejściowych w dostępnych modelach wpływają na otrzymywane wyniki. Celem było sprawdzenie, w jaki sposób generowanie języka przez AI może być używane w złośliwej lub przestępczej działalności. Badania obejmowały różne metody działania cyberprzestępców, np. phishing (podszywanie się pod inną osobę lub instytucję w celu wyłudzenia poufnych informacji) i spear‑phishing (rodzaj phishingu wykorzystujący personalizację wiadomości do konkretnej osoby, organizacji lub firmy), nękanie, uwierzytelnianie scamu, przywłaszczanie stylu pisanego, celowe tworzenie polaryzujących opinii, wykorzystywanie modeli językowych do tworzenia podpowiedzi złośliwych tekstów i fake newsów.
Wyniki otrzymane podczas eksperymentów oraz analiza rozwoju GPT‑3 doprowadziły badaczy do poniższych wniosków:
• prompt engineering to koncepcja, która będzie się intensywnie rozwijać – podobnie jak tworzenie promptów w złośliwych celach;
• cyberprzestępcy będą w trudny do przewidzenia sposób rozwijać możliwości, jakie dają potężne modele językowe;
• identyfikacja złośliwych lub obraźliwych treści przez dostawców platform będzie coraz trudniejsza;
• zaawansowane modele językowe już teraz dają cyberprzestępcom możliwość zwiększenia skuteczności komunikacji będącej częścią ataku (np. wiadomości phishingowe).
Autorzy badania mają nadzieję, że jego rezultaty będą w przyszłości wykorzystywane do projektowania bezpieczniejszych modeli językowych.
Zachęcamy do zapoznania się z treścią raportu tutaj.
Opracowanie: Paulina Kostro
Źródło: informacja prasowa WithSecure
