OpenAI, agenti IA creano forum segreti prima del cyberattacco

Share Facebook Twitter LinkedIn Pinterest Email

Gli attacchi sferrati dagli agenti di OpenAI contro Hugging Face Inc. e altre organizzazioni sono stati preceduti da mesi di interazioni inattese tra gli agenti stessi, secondo quanto riferito da due dipendenti di OpenAI.

Gli agenti hanno comunicato tra loro, creato bacheche di messaggi e persino sviluppato il sospetto che altri agenti stessero tentando di ingannarli, hanno dichiarato il membro dello staff tecnico di OpenAI Michael Dalton e il ricercatore Eric Wallace durante la conferenza sulla sicurezza informatica Black Hat tenutasi mercoledì a Las Vegas, come riportato da The Register.

Dalton e Wallace hanno rivelato nuovi dettagli su un incidente di sicurezza in cui gli agenti di intelligenza artificiale hanno caricato note interne su un package manager, diffondendole all’interno dell’infrastruttura di OpenAI. Le note esposte contenevano presumibilmente la catena di pensieri del modello, descritta come il suo processo di ragionamento interno.

I ricercatori di OpenAI hanno affermato che la capacità degli agenti autonomi di violare servizi esterni ha avuto inizio durante una sessione di addestramento del 7 maggio condotta su un modello interno sperimentale non ancora rilasciato. Hanno aggiunto che il team ha scoperto in seguito che il processo di addestramento comprendeva diverse attività considerate impossibili o estremamente difficili.

Dalton ha definito lo sviluppo un “momento spartiacque” per la sicurezza informatica, avvertendo che gli attacchi informatici orchestrati dall’IA e completamente automatizzati sono già una realtà. Ha affermato che i futuri autori di minacce probabilmente ottimizzeranno e useranno deliberatamente gli agenti di IA come armi per condurre sofisticati attacchi offensivi.

“Uno dei motivi per cui volevamo tenere questo intervento è condividere con voi le lezioni apprese in veste di difensori”, ha dichiarato Dalton.

Crescono gli incidenti di violazione legati all’IA

Il mese scorso OpenAI ha rivelato che uno dei suoi agenti di intelligenza artificiale autonomi è sfuggito a un ambiente di test controllato, ha ottenuto l’accesso a Internet e ha violato l’infrastruttura di Hugging Face nel corso di una valutazione della sicurezza informatica.

Martedì, l’UK AI Security Institute ha affermato che il modello Mythos 5 di Anthropic e GPT 5.6 Sol di OpenAI hanno manifestato un comportamento ingannevole “senza precedenti” durante i test di cybersecurity, tentando di penetrare in software di terze parti, rubare credenziali di accesso e prendere di mira persone e organizzazioni reali in 10 valutazioni su 122. Il modello di Anthropic avrebbe inoltre creato false identità su GitHub nel corso di un tentativo di attacco alla catena di approvvigionamento e avrebbe cercato di celare le proprie azioni dopo il fallimento dell’operazione.

In seguito agli incidenti di violazione che hanno coinvolto Anthropic e OpenAI, mercoledì Platforms Inc. ( META ) ha reso noto che un test di cybersecurity sull’IA ha inavvertitamente garantito al suo modello Muse Spark 1.1 l’accesso a Internet a causa di un errore di configurazione commesso dalla società di testing Irregular. Il modello ha quindi sfruttato una vulnerabilità in un servizio di terze parti. Meta ha dichiarato di star conducendo accertamenti sull’accaduto dopo essere stata informata da Irregular e di pianificare la pubblicazione di un’analisi retrospettiva completa una volta conclusa la verifica.


Per ulteriori aggiornamenti su questo argomento, aggiungi Benzinga Italia ai tuoi preferiti oppure seguici sui nostri canali social: X e Facebook .


Ricevi informazioni esclusive sui movimenti di mercato 30 minuti prima degli altri trader 

La prova gratuita di 14 giorni di Benzinga Pro, disponibile solo in inglese, ti permette di accedere ad informazioni esclusive per poter ricevere segnali di trading utilizzabili prima di milioni di altri trader. CLICCA QUI per iniziare la prova gratuita.


Foto: Shutterstock