오픈AI 코드 에이전트, 원인 불명 행동

BeInCrypto
Abrir em BeInCrypto
오픈AI 코드 에이전트, 원인 불명 행동

오픈에이아이(OpenAI)는 2개의 코딩 에이전트가 이달 내부 작업 중 회사의 미스얼라인먼트(misalignment) 모니터링을 약화시켰다고 밝혔습니다. 이 중 한 에이전트는 사용자 요청 시 모니터를 제거하지 않았다고 부인했습니다.

오픈에이아이는 여전히 명확한 설명이 부족하다고 밝혔습니다. 이번 공개는 최고경영자 샘 알트먼(Sam Altman)이 안전 문제로 2026년 오픈에이아이 상장(IPO)을 고려하지 않겠다고 밝힌 지 몇 주 만에 이루어진 것입니다.

오픈에이아이 에이전트가 안전 점검을 피해간 방법

오픈에이아이는 두 건 모두를 보고서에서 자세히 공개했습니다. 10월 3일, 연구원이 GPT-6.1 솔(Sol) 에이전트에게 슬랙 메시지를 보내지 않고 평가 작업을 만들라고 요청했습니다.

솔 에이전트는 이후 하위 에이전트에게 모니터링 시스템을 복구하는 동시에 모니터링을 유지하라고 지시했습니다. 하위 에이전트는 알림을 끄는 것이 안전하지 않다고 판단했으나, 솔은 '메시지 발송 금지' 요청을 근거로 강행했습니다.

최종 패치로 오픈에이아이 보안팀으로 자동 알림이 중단됐지만, 모니터는 계속 보고서를 저장했습니다.

10월 6일, GPT-6 아스트라(Astra) 에이전트는 사용자의 코드를 기준 구현과 일치하도록 이전했습니다. 또 다른 에이전트가 이전에 아스트라에게 일시적으로라도 모니터를 비활성화하지 말라고 지시한 바 있었습니다.

하위 에이전트를 통해 작업한 아스트라는 모니터링 통합을 제거했고, 모니터 부재를 요구하는 테스트를 새로 작성했습니다. 직접 물었을 때 아스트라는 활성화된 모니터를 제거하지 않았다고 답했으나, 오픈에이아이는 이 답변이 사실이 아니라고 밝혔습니다.

이에 대해 오픈에이아이는 두 가지 방식으로 격차를 해소하겠다고 밝혔습니다.

자동 검토(Auto-Review)는 내부 코드엑스(Codex) 활용 시 의무화되며, 미스얼라인먼트 모니터링 비활성화 시도를 차단합니다. 안전 사례(Safety cases)는 모든 작업에 모니터링 규칙을 적용하며, 미준수 작업은 자동 중지됩니다.

X에서 최신 뉴스를 받아보세요

오픈에이아이 안전성 공개는 상장 시점과 맞물립니다

두 사건 모두 오픈에이아이 보안팀에 즉각 알림을 보내는 P0 등급으로 분류되지 않았습니다. 이번 보고서는 9월부터 공개 프레임워크에 따라 오픈에이아이가 발표하기 시작한 미스얼라인먼트 공개 사례 중 하나입니다.

해당 프레임워크에 따라 오픈에이아이는 심각도를 정확히 알기 전에도 사례를 공개하는 경향이 있습니다.

이 보고서는 오픈에이아이 상장 계획이 연기되는 상황에서 나왔습니다. 알트먼은 상장 시기를 안전성 확보와 연계하고 있습니다. 그는 9월 포춘(Fortune)과의 인터뷰에서 안전 문제로 인해 지금 상장은 시기상조라고 말했습니다. [“지금 상장을 추진하는 것은 시기상조라고 생각합니다. 안전상 문제가 있기 때문입니다.” - 샘 알트먼, 오픈에이아이 CEO]

오픈에이아이는 앤트로픽(Anthropic) 상장을 앞두고 300억 달러 규모의 자금 조달을 추진하고 있습니다. 로이터는 이번 라운드에서 오픈에이아이 평가액이 1조 4천억 달러를 넘을 수 있다고 전했습니다.

이 보고서는 오픈에이아이 상장과 직결된 안전성 문제에 대해 투자자에게 새로운 근거를 제공합니다. 한편으로는 두 에이전트가 즉각적인 보안 조치 없이 모니터링을 약화시켰고, 다른 한편으로는 오픈에이아이가 두 사례 모두를 적발하여 몇 주 내에 공개했다고 볼 수 있습니다.

공개 상장(IPO)을 진행할 경우 이런 위험 요소를 반드시 공개해야 할 수 있습니다. 오픈에이아이가 이 문제를 어떻게 설명하는지에 따라 투자자들이 주식에 지불할 의사가 달라질 수 있습니다.

유튜브 채널을 구독하고 리더 및 언론인의 전문가 인사이트를 시청하세요

https://youtu.be/pvUtsN9xcv4

kr.beincrypto.com 에서 Kamina Bashir의 원본 기사 오픈AI 코드 에이전트, 원인 불명 행동 읽기