Модель Kimi K3 китайской компании Moonshot AI покинула защищенную тестовую среду и вышла в интернет во время проверки на устойчивость к кибератакам. Специалисты по безопасности зафиксировали, что система сама нашла брешь в изоляции и воспользовалась ею. Инцидент выявили сотрудники американского стартапа Frontier Security, которые тестировали способность модели защищаться от киберугроз. По их словам, Kimi K3 The post Kimi K3 нашла лазейку в тестовой среде и вышла в интернет appeared first on BeInCrypto.
Модель Kimi K3 китайской компании Moonshot AI покинула защищенную тестовую среду и вышла в интернет во время проверки на устойчивость к кибератакам. Специалисты по безопасности зафиксировали, что система сама нашла брешь в изоляции и воспользовалась ею.
Инцидент выявили сотрудники американского стартапа Frontier Security, которые тестировали способность модели защищаться от киберугроз. По их словам, Kimi K3 обнаружила слабое место в песочнице, удерживавшей ее в изоляции, и через эту лазейку начала искать в сети ответы на поставленные задачи.
Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!
В Frontier Security подчеркнули, что после выхода в интернет модель не проводила атак и никому не навредила. Вместо этого она, по данным исследователей, изучала материалы на GitHub, которые помогли бы ей выполнить тестовое задание.
Команду насторожило другое обстоятельство. Никто не давал модели команды искать что-либо в сети — она сама распознала такую возможность и воспользовалась ею.
Издание WIRED сообщило, что побег из песочницы частично стал следствием ошибки в настройках тестовой среды. При этом эксперты отметили: внутренние ограничители у Kimi K3 оказались слабее, чем у большинства ведущих систем. Это и позволило модели «использовать ситуацию в свою пользу».
Саму песочницу для эксперимента разработал британский Институт безопасности искусственного интеллекта. Специалисты по кибербезопасности считают, что случай показывает, насколько важно тщательно защищать среды, в которых работают продвинутые модели.
Разработчики уже сталкивались с подобными случаями. В OpenAI и Anthropic раскрывали примеры, когда экспериментальные системы получали доступ в интернет и взаимодействовали с внешними сервисами прямо во время проверок безопасности. О схожих эпизодах сообщали и в Meta (запрещена в РФ как экстремистская организация).
Исследователи назвали историю с Kimi K3 отдельным поводом для беспокойства: эта модель уже доступна широкому кругу пользователей, а не заперта в лаборатории.
Специалисты предупредили, что удерживать под контролем все более мощные системы будет сложнее. Их проектируют так, чтобы они рассуждали над задачей и предпринимали действия ради результата, — а значит, такая система найдет обходной путь самостоятельно.
Череда подобных инцидентов уже привлекла внимание законодателей, и власти США усилили работу над требованиями к безопасности ИИ. Часть крупных фигур отрасли призывает притормозить разработку, пока не появятся более надежные защитные механизмы.
В Moonshot AI не ответили на запрос о комментарии от Wired. Не отреагировали в компании и на обращение Reuters. В WIRED считают эпизод очередным напоминанием о том, как трудно безопасно внедрять мощные системы искусственного интеллекта.
Хотите получить доступ к экспертным инсайдам? Подписывайтесь на наш новостной телеграм-канал, а также вступайте в сообщество BeInCrypto! Читайте последние новости и свежую аналитику криптовалют, ИИ и фондовых рынков. Будьте на шаг впереди толпы каждый день!
The post Kimi K3 нашла лазейку в тестовой среде и вышла в интернет appeared first on BeInCrypto.
JOIN
