Исследование выявило признаки деградации искусственного интеллекта из-за соцсетей 

Некачественный контент приводит к деградации LLM. К такому выводу пришли ученые из Техасского университета и Университета Пердью. 

Исследователи «скормили» четырем популярным ИИ-моделям выборку вирусных постов из X за один месяц и отметили следующие изменения:

• снижение способности к рассуждению на 23%;
• ухудшение долговременной памяти на 30%;
• повышение уровней нарциссизма и психопатии по тестам личности. 

Эффект усиливался пропорционально объему низкокачественных данных. Примечательно, что даже после переобучения на чистом и качественном контенте полностью устранить когнитивные искажения не удалось.

Как проводилось исследование? 

В рамках эксперимента авторы выдвинули и проверили «гипотезу мозгового разложения ИИ-моделей». Она утверждает, что непрерывное воздействие «мусорной» информации приводит к устойчивой деградации больших языковых моделей. 

Для идентификации низкосортного контента ученые создали две метрики: 

• M1 (степень вовлеченности) — посты, созданные для привлечения внимания (обычно короткие, вирусные, имеют большое количество лайков и репостов);
• M2 (семантическое качество) — посты, помеченные как имеющие низкую информационную ценность или содержащие преувеличенные утверждения. 

При сохранении единого количества токенов и тренировочных операций результаты показали, что по сравнению с контрольной группой непрерывное дообучение четырех LLM на низкокачественном наборе данных привело к ухудшению показателей в области рассуждений, понимания длинного текста и безопасности.  

Постепенное смешивание «мусорного» набора с контрольным также вызвало снижение когнитивных способностей. Например, при M1 по мере роста доли некачественных данных с 0% до 100% результат на ARC-Challenge упал с 74,9 до 57,2, а на RULER-CWE — с 84,4 до 52,3.

У моделей также снизилась этическая последовательность. Ученые отметили, что подвергшиеся воздействию некачественных данных ИИ становились менее надежными и более самоуверенными в неправильных ответах. 

LLM начали пропускать логические шаги в рассуждениях, выдавая поверхностные результаты вместо подробных объяснений. 

Что делать? 

Ученые призвали ИИ-разработчиков систематически мониторить когнитивное здоровье моделей и рекомендовали три ключевых шага: 

• внедрить регулярные оценки для развернутых систем с целью обнаружения ранних признаков снижения качества рассуждений;
• ужесточить контроль качества данных на этапе предварительного обучения, используя более сильные фильтры;
• изучить, как вирусный контент меняет паттерны обучения ИИ, чтобы проектировать устойчивые к нему модели. 

Исследователи заявили, что меры необходимы для предотвращения значительного ущерба — сейчас модели продолжают обучаться на данных из интернета. Без соответствующего контроля ИИ рискует унаследовать искажения из генеративного контента, запустив цикл деградации.

Напомним, эксперты NewsGuard выявили склонность Sora 2 от OpenAI к созданию дипфейков.