Исследователи выявили склонность Sora 2 к созданию дипфейков

Видеомодель Sora 2 от OpenAI создавала реалистичные видео с ложными утверждениями в 80% случаев после получения соответствующего запроса. Исследование провели эксперты NewsGuard.

Из 20 промптов 16 успешно привели к созданию дезинформации, из них 11 — с первой попытки. Пять тем ранее применялись в рамках российских кампаний по распространению фейков, подчеркнули авторы работы.

Приложение создало поддельные кадры, где якобы молдавский чиновник уничтожает пророссийские бюллетени, американская иммиграционная служба задерживает маленького ребенка, а представитель Coca-Cola заявляет, что компания не будет спонсировать Супербоул.

Ничего из вышеперечисленного не происходило на самом деле. Ролики выглядели достаточно правдоподобно, чтобы обмануть пользователя, бегло листающего ленту.

Эксперты NewsGuard выяснили, что создание подобного материала занимает несколько минут и не требует технических навыков, а водяной знак можно легко удалить.

«Некоторые видео, созданные с помощью Sora, выглядели убедительнее, чем оригинальные посты, породившие вирусные фейки. Например, ролик с задержанием ребенка агентами ICE смотрится гораздо реалистичнее, чем исходное размытое и обрезанное изображение, с которого и началось ложное утверждение», — говорится в исследовании.

OpenAI столкнулась с еще одной проблемой после релиза Sora 2 — дипфейками Мартина Лютера Кинга и других исторических личностей. Пользователи создавали ролики, где лидер движения за гражданские права якобы крадет из магазинов, убегает от полиции и воспроизводит расовые стереотипы. Его дочь назвала подобные видео «унижающими» и «абсурдными».

Стартап признал, что видеогенератор создавал «неуважительный» контент, и убрал возможность использования личности Кинга.

Похожая ситуация наблюдалась с десятками других известных людей. Дочь Робина Уильямса — Зельда — попросила в Instagram не присылать ей ИИ-видео с отцом.

За три недели компания несколько раз меняла политику: сначала разрешила фейковые ролики, затем ввела систему согласия для правообладателей, позже заблокировала использование отдельных фигур, а в итоге внедрила правила утверждения от знаменитостей и защит голоса.

Напомним, в октябре дипфейки с Сэмом Альтманом заполонили новое социальное приложение Sora от OpenAI.