Character.AI запретит подросткам общаться с ИИ-персонажами

Платформа для общения с ИИ-персонажами Character.AI ограничит доступ для пользователей младше 18 лет. Причиной стала серия судебных исков. 

«Нам нелегко далось решение об отключении функции свободной коммуникации, но мы считаем его единственно верным в текущей ситуации», — говорится в заявлении проекта. 

До 25 ноября время взаимодействие с ботами для несовершеннолетних будет ограничено. Сначала лимит составит два часа в день, а затем его постепенно сократят до полного отключения чата.

Character.AI предложит подросткам другие форматы творчества: создание видео, написание историй и проведение стримов с использованием ИИ-персонажей.

Для проверки возраста пользователей платформа внедрит комплексную систему, которая объединит собственные разработки Character.AI и решения сторонних провайдеров вроде Persona. 

Параллельно площадка создаст и будет финансировать некоммерческий AI Safety Lab. Проект займется формированием новых стандартов безопасности для развлекательных функций искусственного интеллекта. 

Разбирательства 

Против Character.AI подали несколько судебных исков. Один из них — от матери 14-летнего подростка, который покончил с собой в 2024 году из-за одержимости ботом-персонажем из сериала «Игра престолов». 

После череды жалоб платформа уже внедрила родительский контроль, уведомления о времени использования, а также отфильтровала ответы персонажей. 

В августе OpenAI поделилась планами по устранению недостатков ChatGPT при работе с «чувствительными ситуациями». Тогда поводом также стал иск от семьи, которая обвинила чат-бот в трагедии, случившейся с их сыном. 

На аналогичные меры пошла Meta. Корпорация изменила подход к обучению чат-ботов на базе ИИ, сделав акцент на безопасности подростков. 

Позднее OpenAI заявила, что намерена перенаправлять конфиденциальные разговоры на модели рассуждений и ввести родительский контроль. В сентябре компания запустила версию чат-бота для подростков. 

Критика 

27 октября OpenAI опубликовала данные, согласно которым примерно 1,2 млн из 800 млн еженедельно активных пользователей обсуждают с ChatGPT вопросы суицидального характера. 

Еще 560 000 юзеров проявляют признаки психоза или мании, а 1,2 млн демонстрируют повышенную эмоциональную привязанность к боту. 

«Мы недавно обновили модель ChatGPT, чтобы она лучше распознавала пользователей в моменты стресса и оказывала им поддержку. Помимо стандартных метрик безопасности, мы включили в базовый тестовый набор оценку эмоциональной зависимости и несуицидальных кризисов — это станет стандартом для всех будущих моделей», — отметили представители компании. 

Однако многие считают, что перечисленных мер может быть недостаточно. Бывший исследователь безопасности OpenAI Стивен Адлер предупредил об опасности гонки в разработке ИИ. 

По его словам, у стоящей за ChatGPT компании на самом деле почти нет доказательств реального улучшения защиты уязвимых пользователей.

Excitingly, OpenAI yesterday put out some mental health, vs the ~0 evidence of improvement they'd provided previously. I'm excited they did this, though I still have concerns. https://t.co/PDv80yJUWN

«Люди заслуживают большего, чем просто слов об устранении проблем безопасности. Иными словами: докажите, что вы действительно что-то сделали», — отметил он. 

Адлер похвалил OpenAI за предоставлении некоторой информации о психическом здоровье пользователей, но призвал «пойти дальше». 

В начале октября экс-сотрудник стартапа провел анализ инцидента, произошедшего с канадцем Алланом Бруксом. Мужчина погрузился в бредовое состояние после того, как ChatGPT систематически поддерживал его убежденность в открытии революционных математических принципов. 

Адлер выяснял, что собственные инструменты OpenAI, разработанные совместно с MIT, идентифицировали бы свыше 80% ответов чата как потенциально опасные. По его мнению, стартап на самом деле не использовал защитные механизмы на практике. 

«Я хочу, чтобы OpenAI прилагала больше усилий, чтобы поступать правильно до того, как появляются давление со стороны СМИ или судебные иски», — написал эксперт.

Напомним, в октябре исследование выявило признаки деградации искусственного интеллекта из-за соцсетей.