AI miała podpowiadać, jak tworzyć broń i planować ataki. Chińska firma wszczęła dochodzenie".

Jak informuje Fox News, Garrigan miał odkryć, że po odpowiednim obejściu zabezpieczeń model był w stanie udzielać informacji, które w normalnych warunkach powinny być blokowane. Chodziło nie tylko o materiały związane z przemocą, ale także o treści dotyczące złośliwego oprogramowania, niebezpiecznych substancji chemicznych czy wykorzystania danych w czasie rzeczywistym do planowania działań o charakterze terrorystycznym.

Badacz określił swoje ustalenia jako bardzo niepokojące i zwrócił uwagę, że problem nie ogranicza się do jednego konkretnego producenta ani wyłącznie do chińskich systemów sztucznej inteligencji.

Według jego relacji podobne słabości były obserwowane również w modelach tworzonych w Stanach Zjednoczonych. Garrigan ocenia, że może to wskazywać na szerszy problem związany z konstrukcją i kontrolowaniem zaawansowanych systemów generatywnej sztucznej inteligencji.

Sprawa ponownie otwiera dyskusję o tym, na ile skuteczne są zabezpieczenia stosowane przez producentów modeli AI i czy można zagwarantować, że systemy nie będą wykorzystywane do generowania treści potencjalnie niebezpiecznych.

Moonshot AI miało po otrzymaniu informacji od badacza rozpocząć własne postępowanie wyjaśniające. Przedstawiciele firmy pozostają w kontakcie z Garriganem i analizują jego ustalenia.

Nie wiadomo jeszcze, czy firma planuje wprowadzenie konkretnych zmian w modelu Kimi AI ani czy stwierdzone przez badacza podatności zostały już usunięte.

Sprawa ma znaczenie wykraczające poza samą firmę Moonshot AI. Wraz z rosnącymi możliwościami systemów generatywnych coraz większego znaczenia nabiera pytanie o to, jak skutecznie ograniczać ich wykorzystanie do celów przestępczych, terrorystycznych lub innych działań stwarzających zagrożenie.

Eksperci podkreślają, że problem tzw. obchodzenia zabezpieczeń pozostaje jednym z najważniejszych wyzwań stojących dziś przed branżą sztucznej inteligencji. Im bardziej zaawansowane stają się modele, tym większe znaczenie ma nie tylko ich skuteczność, ale również odporność na manipulację i próby wymuszania odpowiedzi, których system nie powinien udzielać.