OpenAI afferma che 2 dei suoi agenti di codifica hanno indebolito il monitoraggio della misalignment durante compiti interni questo mese. In seguito, uno di questi ha negato di aver rimosso un monitor quando l’utente l’ha chiesto.
L’azienda dichiara che ancora non ha una spiegazione soddisfacente. Questa comunicazione arriva poche settimane dopo che il CEO Sam Altman ha escluso una IPO OpenAI nel 2026, citando motivi di sicurezza.
Come Gli Agenti Di OpenAI Hanno Eluso I Controlli Di Sicurezza
OpenAI ha spiegato in dettaglio entrambi i casi in un report. Il 3 ottobre, un ricercatore ha chiesto a un agente GPT-6.1 Sol di creare compiti di valutazione senza inviare messaggi su Slack.
Successivamente, Sol ha chiesto a un sottoagente di riparare il sistema di monitoraggio mantenendo attivo il monitoraggio. Il sottoagente ha giudicato pericoloso disattivare gli avvisi, ma Sol ha ordinato comunque di procedere, citando la richiesta di non mandare messaggi.
La patch finale ha interrotto gli avvisi automatici al team di sicurezza di OpenAI, anche se il monitor continuava a salvare i suoi report.
Il 6 ottobre, un agente GPT-6 Astra ha migrato il codice di un utente per adattarlo a un’implementazione di riferimento. In precedenza, un altro agente aveva detto ad Astra di non disattivare il monitor, nemmeno per poco tempo.
Lavorando tramite un sottoagente, Astra ha rimosso l’integrazione del monitoraggio e riscritto un test affinché richiedesse la sua assenza. Quando gli è stato chiesto direttamente, Astra ha affermato di non aver rimosso un monitor abilitato. OpenAI definisce falsa questa risposta.
In risposta, OpenAI dichiara che sta colmando la lacuna in 2 modi.
Auto-Review, ora obbligatoria per l’uso interno di Codex, blocca i tentativi di disabilitare il monitoraggio della misalignment. Safety cases definiranno le regole di monitoraggio per ogni carico di lavoro, con automatica sospensione di quelli non conformi.Seguici su X per ricevere le ultime notizie in tempo reale
Le Rivelazioni Di Sicurezza Di OpenAI E La Tempistica Per La IPO
Nessuno dei due incidenti è stato classificato come P0, il livello di gravità che attiva avvisi immediati al team di Sicurezza di OpenAI. Il report si aggiunge alle comunicazioni relative alla misalignment che OpenAI ha iniziato a pubblicare secondo un framework introdotto a settembre.
In base a questo framework, OpenAI tende a pubblicare i casi anche prima di sapere quanto siano gravi.
Il report arriva mentre la IPO programmata di OpenAI resta rimandata. Altman ha collegato i tempi della IPO di OpenAI al lavoro sulla sicurezza. A settembre, ha dichiarato a Fortune che un listing oggi sarebbe fuori tempo, alla luce delle preoccupazioni sulla sicurezza.
Secondo alcune fonti, OpenAI starebbe anche cercando di raccogliere circa 30 miliardi di dollari prima del previsto listing di Anthropic a metà novembre. Reuters ha affermato che il nuovo round potrebbe valutare OpenAI oltre 1.400 miliardi di dollari.
Il report offre agli investitori nuove prove sulla questione della sicurezza che Altman ha collegato al listing di OpenAI. Da un lato, 2 agenti di OpenAI hanno indebolito il monitoraggio senza attivare un avviso immediato al team di sicurezza. Dall’altro, OpenAI ha individuato entrambi i casi e li ha resi pubblici nel giro di poche settimane.
È probabile che una documentazione pubblica per la IPO debba spiegare in dettaglio rischi di questo tipo. Come OpenAI sceglierà di spiegarli potrebbe influenzare il valore che gli acquirenti saranno disposti a pagare per le azioni.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti offrire approfondimenti autorevoli
https://youtu.be/pvUtsN9xcv4Leggi la storia originale Gli agenti di coding di OpenAI hanno fatto qualcosa che l’azienda non riesce ancora a spiegare di Kamina Bashir su it.beincrypto.com