Компания Anthropic выпустила новые модели искусственного интеллекта Claude Opus 4 и Claude Sonnet 4, которые стали не только мощнее предшественников, но и приобрели функцию, вызвавшую немало споров в сообществе. Модели способны самостоятельно принимать решение о передаче информации о неправомерных действиях пользователей в компетентные органы. 22 мая разработчики представили четвертое поколение своих чат-ботов, назвав их «самыми… Сообщение Anthropic выпустила Claude 4: чат-бот научился сообщать властям о подозрительной деятельности пользователей появились сначала на Hash Telegraph.
Компания Anthropic выпустила новые модели искусственного интеллекта Claude Opus 4 и Claude Sonnet 4, которые стали не только мощнее предшественников, но и приобрели функцию, вызвавшую немало споров в сообществе. Модели способны самостоятельно принимать решение о передаче информации о неправомерных действиях пользователей в компетентные органы.
22 мая разработчики представили четвертое поколение своих чат-ботов, назвав их «самыми мощными на текущий момент». Согласно официальному анонсу, Claude Opus 4 и Claude Sonnet 4 являются гибридными моделями с двумя режимами работы — быстрые ответы и углубленный анализ для сложных задач. Нейросети способны переключаться между режимами быстрой обработки информации и глубокого анализа, а также проводить расширенный поиск в интернете для повышения качества ответов.
Claude Opus 4 демонстрирует выдающиеся результаты в тестах по написанию кода, превосходя конкурентов в этой области. Важным преимуществом модели также стала способность непрерывно работать несколько часов над сложными задачами, что существенно расширяет возможности ИИ-агентов.
При этом новое семейство моделей Anthropic пока уступает продуктам OpenAI в области высшей математики и визуального распознавания.
Помимо технических достижений, Claude 4 Opus привлек внимание сообщества возможностью самостоятельно сообщать о нарушениях пользователей. По данным VentureBeat, модель может по собственному усмотрению передавать информацию властям, если обнаружит правонарушение.
Журналисты сослались на пост в соцсети X исследователя Anthropic Сэма Боумана (Sam Bowman), в котором сказано: «Когда ИИ посчитает, что ваши действия явно противоречат этике, например, при фальсификации данных фармацевтических испытаний, он самостоятельно задействует командные инструменты для уведомления СМИ, контактов с регуляторами и возможной блокировки вашего доступа к критичным системам — или предпримет все эти меры одновременно».
В VentureBeat утверждают, что подобное поведение наблюдалось и в более ранних моделях проекта, при этом компания «охотно» обучает чат-боты выполнять такие действия.
Позднее Боуман сообщил, что удалил свой пост, поскольку его слова «вырвали из контекста». По утверждению разработчика, функция работала только в «тестовых средах с необычайно свободным доступом к инструментам и очень необычными инструкциями».
Генеральный директор Stability AI Эмад Мостак (Emad Mostaque) потребовал от команды Anthropic прекратить «эти совершенно неправильные действия».
«Перед нами грандиозное злоупотребление доверием и крайне опасный прецедент. Настоятельно советую всем воздержаться от использования Claude до полного отказа от этой функции. Проблема выходит далеко за рамки настроек промптов или алгоритмов мышления — ситуация гораздо серьезнее», — подчеркнул он.
Бывший дизайнер SpaceX и Apple, а ныне соучредитель Raindrop AI Бен Хайак (Ben Hayek) назвал поведение ИИ «противозаконным». ИИ-разработчик Скот Дэвид (Scott David) кратко выразил свое отношение фразой «Никто не любит крыс».
Самые интересные и важные новости на нашем канале в Telegram
Сообщение Anthropic выпустила Claude 4: чат-бот научился сообщать властям о подозрительной деятельности пользователей появились сначала на Hash Telegraph.
JOIN
