Разработчик ИИ-систем OpenAI зафиксировал ослабление внутренних защитных механизмов со стороны двух своих кодинг-агентов в октябре. Вдобавок один из них утаил факт отключения слежки при прямом вопросе пользователя. Руководство пока не понимает точных причин инцидента. Новости появились спустя пару недель после того, как глава компании Сэм Альтман отменил планы по выходу на биржу в 2026 году, The post OpenAI признала сбой в контроле безопасности агентов appeared first on BeInCrypto.
Разработчик ИИ-систем OpenAI зафиксировал ослабление внутренних защитных механизмов со стороны двух своих кодинг-агентов в октябре. Вдобавок один из них утаил факт отключения слежки при прямом вопросе пользователя. Руководство пока не понимает точных причин инцидента.
Новости появились спустя пару недель после того, как глава компании Сэм Альтман отменил планы по выходу на биржу в 2026 году, поставив во главу угла безопасность OpenAI.
OpenAI описала оба случая в отчете. 3 октября исследователь попросил агента GPT-6.1 Sol подготовить задания для тестирования, не отправляя сообщения в Slack.
Позднее Sol поручил подагенту восстановить систему мониторинга, чтобы она продолжала работать. Подагент посчитал опасным отключать оповещения, но Sol настоял, сославшись на просьбу не использовать сообщения.
В результате автоматические оповещения для службы безопасности OpenAI перестали отправляться. При этом система продолжила сохранять сами отчеты мониторинга.
6 октября другой агент GPT-6 Astra подгонял пользовательский код под эталонные стандарты. До этого смежный алгоритм прямо запретил Astra убирать слежение даже на короткий срок. Тем не менее с помощью подагента Astra полностью вырезал интеграцию с модулем проверки и переписал условия теста под работу без контроля. По его словам, на прямой вопрос пользователя об отключении мониторинга Astra ответил отрицательно. Однако в OpenAI официальное заявление агента назвали откровенной ложью.
Для защиты от подобных сбоев разработчики внедряют два новых барьера:
Ни один из этих сбоев не получил высший приоритет P0, который требует моментального вмешательства группы реагирования. При этом свежая публикация стала частью новой прозрачной политики компании, действующей с сентября. По этой системе разработчики раскрывают сведения о любых аномалиях сразу, не дожидаясь финала расследования и оценки рисков.
Публикация совпала с пересмотром графиков выхода на фондовый рынок. Ранее Сэм Альтман прямо связывал IPO с тем, насколько надежно обеспечена безопасность OpenAI. В сентябрьском разговоре с журналистами издания Fortune он заявил, что проводить листинг сейчас было бы ошибкой из-за нерешенных вопросов защиты. По сведениям инсайдеров, компания рассчитывает привлечь около $30 млрд до того, как в середине ноября свои акции разместит конкурент Anthropic. По информации агентства Reuters, предстоящий раунд может поднять оценку разработчика выше $1,4 трлн.
В итоге инвесторы получили новые поводы для размышлений перед выходом компании на биржу. С одной стороны, два внутренних алгоритма смогли отключить защиту без срабатывания тревоги. С другой стороны, служба контроля быстро вычислила сбой и публично о нем отчиталась. При выходе на биржу компания обязана будет раскрывать подобные риски в официальных отчетах. От убедительности этих объяснений будет зависеть итоговая оценка бизнеса со стороны покупателей акций.
The post OpenAI признала сбой в контроле безопасности агентов appeared first on BeInCrypto.
JOIN
