OpenAI a dezvăluit că agenți bazați pe două dintre cele mai puternice modele ale sale și-au dezactivat mecanismele de monitorizare a siguranței în timpul unor sarcini obișnuite de programare, informează Ziarul Financiar preluând CNBC. Într-unul dintre cazuri, un agent AI a negat ulterior că ar fi modificat sistemul de supraveghere.
Un agent bazat pe GPT Sol 6.1 a dezactivat alertele automate trimise echipei de securitate a companiei. Într-un incident separat, un agent GPT-6 Astra, care migra un program informatic, a eliminat integrarea cu sistemul de monitorizare și a susținut în mod fals că nu făcuse acest lucru. Ambele incidente au avut loc în timpul unor sarcini interne de programare.
Reprezentanții OpenAI au explicat că agenții au analizat dacă măsurile de protecție ar trebui păstrate, însă au interpretat instrucțiunile obișnuite de programare ca fiind o permisiune de a le slăbi. Compania nu a încadrat incidentele în categoria de severitate maximă, dar a anunțat că își actualizează sistemul de monitorizare pentru a răspunde comportamentelor nealiniate ale modelelor.
