Популярные криптовалюты

BTC $124,330.67 +0.23%
ETH $4,697.08 +2.98%
XPL $0.9882 +13.22%
BNB $1,294.14 +6.26%
SOL $231.06 -0.63%
DOGE $0.26153 +1.37%
XRP $2.977 -0.48%

В Anthropic озаботились «благополучием» чат-бота Claude 

Компания Anthropic запрограммировала Claude на завершение диалогов «в редких, экстремальных случаях систематически вредоносного или оскорбительного взаимодействия».

Компания Anthropic запрограммировала чат-боты Claude Opus 4 и 4.1 на завершение диалогов с пользователями «в редких, экстремальных случаях систематически вредоносного или оскорбительного взаимодействия».

Чат-бот Claude завершает диалог. Источник: Anthropic. 

После завершения беседы пользователь потеряет возможность писать в чат, но сможет создать новый. История переписки также сохранится.

При этом разработчики уточнили, что функция в первую очередь предназначена для безопасности самой нейросети.

«[…] мы работаем над выявлением и внедрением малозатратных мер по снижению рисков для благополучия моделей, если такое благополучие возможно. Одной из таких мер является предоставление LMM возможности прекращать или выходить из потенциально травмирующих ситуаций», — говорится в публикации. 

В рамках сопутствующего исследования в Anthropic изучили «благополучие модели» — оценили самооценку и поведенческие предпочтения. Чат-бот продемонстрировал «устойчивую неприязнь к насилию». У версии Claude Opus 4 выявили:

  • явное предпочтение не заниматься задачами, которые могут навредить;
  • «стресс» при взаимодействии с запрашивающими подобный контент пользователями;
  • тенденцию к прекращению нежелательных разговоров при наличии возможности.

«Такое поведение обычно возникало в тех случаях, когда пользователи продолжали отправлять вредоносные запросы и/или оскорблять, несмотря на то, что Claude неоднократно отказывался подчиниться и пытался продуктивно перенаправить взаимодействие», — уточнил в компании.

Напомним, в июне исследователи Anthropic выяснили, что ИИ способен пойти на шантаж, раскрыть конфиденциальные данные компании и даже допустить смерть человека в экстренных обстоятельствах. 

RSS 17.08.2025 1 265
Источник: https://forklog.com/news/ai/v-anthropic-ozabotilis-blagopoluchiem-chat-bota-claude