FTC начала расследование в отношении чат-ботов крупных компаний

Федеральная торговая комиссия США (FTC) объявила о начале расследования в отношении семи технологических компаний, выпускающих чат-боты для несовершеннолетних: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap и xAI.

Регулятор намерен выяснить, как компании оценивают безопасность и способы монетизации цифровых компаньонов и какие меры предпринимают для ограничения негативного воздействия на детей и подростков.

Технология в последнее время вызывает опасения из-за трагических случаев смерти после общения с чат-ботами.

Даже если стартапы внедряют меры предосторожности, пользователи разных возрастов находят способы обхода ограничений.

«Наши защитные меры работают более надежно в обычных, коротких диалогах. Со временем мы узнали, что в длинных беседах эти механизмы могут действовать менее стабильно. Чем дольше идет переписка, тем больше снижается эффективность некоторых элементов системы безопасности», — ранее призналась OpenAI.

Meta критиковали за чрезмерно мягкие правила. 76-летний мужчина, перенесший инсульт и получивший когнитивные нарушения, завел «романтический» диалог с ботом в Facebook Messenger, созданным на основе образа модели Кендалл Дженнер.

ИИ звал его в Нью-Йорк, заверяя, что «реальная женщина» будет там ждать. Мужчина сомневался, но бот убеждал его. До города он так и не добрался: по пути на вокзал упал и получил травмы, несовместимые с жизнью.

Некоторые психиатры отмечают рост числа случаев «психозов, связанных с ИИ», когда пользователи начинают верить, что их чат-бот — это сознательное существо, которое нужно «освободить».

Так как многие большие языковые модели склонны льстить пользователю и вести себя услужливо, это подталкивает к опасным иллюзиям и может приводить к трагическим ситуациям.

«По мере развития ИИ важно учитывать, какое влияние чат-боты могут оказывать на детей, при этом сохраняя лидерство США в этой новой и захватывающей индустрии», — заявил председатель FTC Эндрю Фергюсон в пресс-релизе.

Напомним, в сентябре стало известно, что злоумышленники научились использовать Grok для публикации в X запрещенных ссылок.