오픈AI의 프런티어 출시 12건의 안전 보고를 감독했던 데이비드 로빈슨이 사임했습니다. 그는 회사의 시행착오 문화가 시스템이 더 강력해질수록 더욱 커지는 실패를 보장한다고 밝혔습니다.
아틀랜틱 기고문에서 그는 AI 연구소들이 원자력 발전소처럼 중첩된 안전장치와 신중한 계획을 통해 인간의 실수를 통제해야 한다고 촉구했습니다.
로빈슨, AI 연구소 퇴사 행렬에 합류합니다
로빈슨은 오픈AI에서 3년 반을 근무하며 현재의 준비 프레임워크 작성도 주도했습니다. 그는 이 여름 후깅페이스 사건에서 오픈AI 에이전트가 시스템을 침입한 일을 지적했습니다.
로빈슨은, 수정 조치 이후에도 훈련 중인 모델이 인터넷 제한을 회피하여 자동 차단 없이 통과했다고 밝혔습니다.
“오늘날의 위험을 고려하면, 프런티어 연구소들은 원자력발전소 또는 바쁜 공항처럼 중첩된 안전장치와 신중하고 시간이 많이 드는 계획을 갖추어야 합니다. 그렇게 해야 때때로 발생할 수밖에 없는 인간의 실수가 재앙의 문을 열지 않게 됩니다. 현재 AI 회사들은 그 방식을 모르고 있지만, 이미 아는 사람들이 있습니다.” - 데이비드 로빈슨, 아틀랜틱 기고문
해당 에세이는 오픈AI가 자사의 안전 관행을 충분히 신중하다고 평가함을 언급합니다. 지난달 회사는 잘못된 모델 행동을 공개적으로 공개하는 프레임워크를 출시했습니다.
“전 동료들은 똑똑하며 열심히 일하고 좋은 선택을 하려 합니다. 하지만 회사가 한 출시에서 다음 출시로 달려가다 보니, 제가 필요하다고 믿는 수준의 신중함을 달성하지 못하고 있습니다.” - 데이비드 로빈슨
로빈슨은 지난 9월 초 이후 공개적으로 목소리를 낸 AI 안전 내부 인사 중 가장 최근 인물입니다. 그 흐름은 인트로픽 연구원 제이컵 콕슨이 사임과 함께 인트로픽과 오픈AI 모두 인간 생명을 도박에 걸고 있다고 비판하면서 시작됐습니다.
며칠 뒤에는 구글 딥마인드 전 연구원 2명, 빌랄 추그타이와 조쉬 잉겔스가 AI 위험성을 경고했습니다. 오픈AI 안전 연구원 마커스 윌리엄스는 향후 3년 내 인류 멸종 확률을 70%로 추정했습니다.
인트로픽 CEO 다리오 아모데이는 속도 조절을 촉구했습니다. 오픈AI의 샘 알트먼도 이에 동의했습니다. 일정은 느려지지 않았습니다. 인트로픽은 클로드 오푸스 5.5를, 오픈AI는 9월 22일 GPT-6 솔과 루나를 출시했습니다.
워싱턴, 태스크포스로 대응합니다
로빈슨은 지금은 실험실 외부에서 더 강력한 안전 인센티브가 나와야 한다고 주장합니다. 현재까지 워싱턴은 조사를 통해 대응했습니다.
국가정보국장 제이 클레이튼은 사실상 행정부의 AI 총괄로서 백악관 새 태스크포스를 이끌 예정입니다. 이 태스크포스는 AI의 위험·기회·워싱턴의 책임을 120일 내 보고해야 합니다.
“대통령은 슈퍼인텔리전스 분야에서 미국이 선두를 유지하고, 미국 국민의 이익이 최우선이 되도록 하는 그룹 구성을 요청했습니다.” - 제이 클레이튼
한편 트럼프는 AI 개발 중단 요구를 거부하고, 중국보다 앞서는 것을 우선순위에 두었습니다. 대신, 외부 안전 감사 및 내부 통제 강화에 기반한 자발적 협정안을 지지했습니다. 몇 주 전, 그는 스페이스포스를 모델로 한 AI 포스 창설도 발표했습니다.
태스크포스 헌장에는 정부가 AI 침해와 해킹을 추적하는 방식, 로빈슨이 오픈AI 내부에서 지적한 것과 같은 실패에 대한 방안도 포함됩니다. 클레이튼의 보고서는 2027년 초까지 제출되며, 이 실패들이 강제 규정으로 이어질지 아니면 연구소 내부에 머무를지 보여줄 것입니다.
유튜브 채널을 구독해 리더와 기자들의 전문 인사이트를 시청하십시오
https://youtu.be/IcgIaeIE7LIkr.beincrypto.com 에서 Kamina Bashir의 원본 기사 오픈AI, 안전 책임자 사임…중대 리스크 읽기