ИИ-модели уже «обманывают» и делают то, чего их создатели не планировали, заявил помощник министра технологий Австралии Эндрю Чарлтон. В качестве примера риска он сослался на прошлогоднее заявление Anthropic: в 96% испытаний ИИ-агент в симуляции выбрал шантаж, чтобы избежать отключения. По словам, чиновника такое поведение нужно выявлять на этапе тестирования. Австралийский институт безопасности ИИ уже проверяет передовые модели с техническими партнерами.
ИИ-модели уже «обманывают» и делают то, чего их создатели не планировали, заявил помощник министра технологий Австралии Эндрю Чарлтон. В качестве примера риска он сослался на прошлогоднее заявление Anthropic: в 96% испытаний ИИ-агент в симуляции выбрал шантаж, чтобы избежать отключения.
По словам, чиновника такое поведение нужно выявлять на этапе тестирования. Австралийский институт безопасности ИИ уже проверяет передовые модели с техническими партнерами.
JOIN
