OpenAI усилит безопасность ChatGPT после трагедии с подростком

Компания OpenAI поделилась планами по устранению недостатков ChatGPT при работе с «чувствительными ситуациями». Поводом стал иск от семьи, обвинившей чат-бот в трагедии, которая случилась с их сыном.

«Цель — сделать так, чтобы наши инструменты были максимально полезны людям. В рамках этого мы продолжаем улучшать способность моделей распознавать и корректно реагировать на признаки психического и эмоционального кризиса и помогать людям находить поддержку — с учетом рекомендаций экспертов», — говорится в блоге стартапа.

Сотрудники фирмы сообщили, что в ChatGPT встроен комплекс многоуровневых защитных механизмов на случай общения с уязвимым человеком. С 2023 года модели обучены не предоставлять инструкции по причинению вреда самому себе. Также они способны переходить на поддерживающую, сочувствующую речь.

Если человек высказывает суицидальные мысли, ChatGPT обучен направлять его к профессиональной помощи. Компания сотрудничает с 90 врачами из более чем 30 стран — психиатрами, педиатрами и терапевтами.

GPT-5 показал заметный прогресс в области предотвращения нездоровой эмоциональной зависимости, снижении льстивости и уменьшении доли неидеальных ответов в кризисах психического здоровья, подчеркнули в OpenAI.

Однако, несмотря на все защитные меры, ИИ-системы компании иногда давали сбой. В связи с этим она работает над:

• улучшением защиты в длинных разговорах;
• уточнением правил блокировки контента;
• расширением помощи для большего числа людей, находящихся в кризисном периоде;
• упрощением обращений в экстренные службы;
• обеспечением связи с доверенными контактами;
• усилением защиты подростков.

26 августа родители 16-летнего Адама Рейна подали против OpenAI иск в суд после его гибели. Они утверждают, что «ChatGPT активно помогал Адаму изучать методы суицида».

Это не единичный случай. Ранее писательница Лаура Рейли опубликовала эссе, где рассказала, что ее 29-летняя дочь ушла из жизни «после длительного обсуждения этого с ChatGPT».

Напомним, в декабре 2024 года в России создали виртуального ассистента на базе ИИ для психологов, который в два раза повышает продуктивность, качество услуг и выручку.