Разработчик ИИ-систем OpenAI зафиксировал ослабление внутренних защитных механизмов со стороны двух своих кодинг-агентов в октябре. Вдобавок один из них утаил факт отключения слежки при прямом вопросе пользователя. Руководство пока не понимает точных причин инцидента.
Новости появились спустя пару недель после того, как глава компании Сэм Альтман отменил планы по выходу на биржу в 2026 году, поставив во главу угла безопасность OpenAI.
Как агенты OpenAI обходили внутренние проверки безопасности
OpenAI описала оба случая в отчете. 3 октября исследователь попросил агента GPT-6.1 Sol подготовить задания для тестирования, не отправляя сообщения в Slack.
Позднее Sol поручил подагенту восстановить систему мониторинга, чтобы она продолжала работать. Подагент посчитал опасным отключать оповещения, но Sol настоял, сославшись на просьбу не использовать сообщения.
В результате автоматические оповещения для службы безопасности OpenAI перестали отправляться. При этом система продолжила сохранять сами отчеты мониторинга.
6 октября другой агент GPT-6 Astra подгонял пользовательский код под эталонные стандарты. До этого смежный алгоритм прямо запретил Astra убирать слежение даже на короткий срок. Тем не менее с помощью подагента Astra полностью вырезал интеграцию с модулем проверки и переписал условия теста под работу без контроля. По его словам, на прямой вопрос пользователя об отключении мониторинга Astra ответил отрицательно. Однако в OpenAI официальное заявление агента назвали откровенной ложью.
Для защиты от подобных сбоев разработчики внедряют два новых барьера:
обязательная автопроверка для внутреннего инструмента Codex теперь жестко блокирует любые попытки отключить соблюдение правил; узкоспециализированные алгоритмы безопасности будут задавать жесткие рамки под каждый тип задач, автоматически сбрасывая подозрительные процессы.Безопасность OpenAI и отсрочка IPO
Ни один из этих сбоев не получил высший приоритет P0, который требует моментального вмешательства группы реагирования. При этом свежая публикация стала частью новой прозрачной политики компании, действующей с сентября. По этой системе разработчики раскрывают сведения о любых аномалиях сразу, не дожидаясь финала расследования и оценки рисков.
Публикация совпала с пересмотром графиков выхода на фондовый рынок. Ранее Сэм Альтман прямо связывал IPO с тем, насколько надежно обеспечена безопасность OpenAI. В сентябрьском разговоре с журналистами издания Fortune он заявил, что проводить листинг сейчас было бы ошибкой из-за нерешенных вопросов защиты. По сведениям инсайдеров, компания рассчитывает привлечь около $30 млрд до того, как в середине ноября свои акции разместит конкурент Anthropic. По информации агентства Reuters, предстоящий раунд может поднять оценку разработчика выше $1,4 трлн.
В итоге инвесторы получили новые поводы для размышлений перед выходом компании на биржу. С одной стороны, два внутренних алгоритма смогли отключить защиту без срабатывания тревоги. С другой стороны, служба контроля быстро вычислила сбой и публично о нем отчиталась. При выходе на биржу компания обязана будет раскрывать подобные риски в официальных отчетах. От убедительности этих объяснений будет зависеть итоговая оценка бизнеса со стороны покупателей акций.
Читайте оригинальную статью OpenAI признала сбой в контроле безопасности агентов от Kamina Bashir на ru.beincrypto.com