GPT-4.5 прошла трехсторонний тест Тьюринга

Исследователи провели трехсторонний тест Тьюринга для четырех ИИ-систем — ELIZA, GPT-4o, LLaMa-3.1-405B и GPT-4.5. Последняя набрала наивысший балл. 

В опубликованной 31 марта работе Кэмерон Джонс и Бенджамин Берген из Кафедры когнитивных наук Калифорнийского университета в Сан-Диего поделились результатами эксперимента. 

Они применили оригинальную трехстороннюю версию теста — участники вели пятиминутные разговоры одновременно с другим собеседником и одной из ИИ-систем, после чего определяли, кого из собеседников считают человеком. Такой вариант является более сложным по сравнению с тестом, где люди общаются только с машиной.

В 73% случаев испытуемые посчитали GPT-4.5 человеком. Другие ИИ набрали меньший результат:

• LLaMa-3.1 — 56%;
• ELIZA — 23%;
• GPT-4o — 21%.

«Полученные данные представляют собой первое эмпирическое доказательство того, что искусственная система проходит стандартный трехсторонний тест Тьюринга», — отметили исследователи. 

Тест Тьюринга — концептуальный тест, предложенный британским математиком Аланом Тьюрингом в 1950 году для определения способности компьютера демонстрировать интеллектуальное поведение, неотличимое от человеческого.

Суть теста:

1. Человек ведет текстовую переписку с двумя собеседниками: другим человеком и искусственным интеллектом.
2. Если испытуемый не может с уверенностью определить, кто из них машина, считается, что компьютер прошел тест.

Тест Тьюринга неоднократно проводился среди популярных ИИ-моделей. Так, в июне 2024 года люди не смогли отличить ChatGPT от собеседника-человека в 54% случаев. ELIZA тогда набрала 22%, GPT-3.5 — 50%, человек — 67%.

В 2023 году в аналогичном исследовании от Джонса GPT-4 набрал 41%, GPT-3.5 — 14%, ELIZA — 27%. Люди тогда получили 63%.

Напомним, в феврале 2025 года OpenAI выпустила новую версию чат-бота GPT-4.5 с продвинутым «эмоциональным интеллектом».