ChatGPT превосходит человеческую аутентичность, релевантность, согласованность в исследовании политических дебатов

В ходе исследования были опрошены 948 граждан Великобритании, которые оценили вопросы и ответы из программы BBC «Время вопросов» наряду с ответами, сгенерированными GPT-4 Turbo. Они были приписаны общественным деятелям и представлены участникам без указания источника.

«Наши результаты ясно показывают, что созданный LLM олицетворенный контент оценивается как более аутентичный, последовательный и актуальный, чем реальные ответы на дебаты», — сказали авторы исследования.

Восприятие против реальности

Исследование показало, что ответы, сгенерированные искусственным интеллектом, часто отличались от реальных ответов. Около половины были оценены как непохожие, в то время как только треть были оценены как похожие. Вызывает беспокойство тот факт, что даже когда содержание отличалось от реальных позиций общественных деятелей, участники все равно оценивали ответы искусственного интеллекта как достоверные.

Лингвистический анализ показал различия в использовании языка. Ответы искусственного интеллекта содержали больше номинализаций, большее лексическое разнообразие и большее соответствие словам из вопросов. Реальные ответы содержали больше фраз типа «Я думаю».

Важно отметить, что существуют ограничения на сравнение ответов, сгенерированных искусственным интеллектом, с реакциями человека вживую. Например, политики испытывают нехватку времени и не могут вкладывать в свои ответы те же ресурсы, что и система искусственного интеллекта.

Потенциал неправильного использования

Исследователи предупреждают: «Субъекты угрозы могут легко использовать LLM для загрязнения сферы общественной информации фальшивыми, но достоверными политическими заявлениями, например, для того, чтобы посеять путаницу в отношении того, какими на самом деле были замечания, и выдумать темы для обсуждения ».

Более 85% участников исследования сочли, что использование искусственного интеллекта в публичных дебатах должно быть прозрачным, а информацией о развитии искусственного интеллекта следует делиться.

Исследователи подчеркивают необходимость информирования общественности о современных возможностях ИИ. Многие участники изначально недооценивали потенциал технологии. Узнав об использовании ИИ, они продемонстрировали большую признательность за возможности ИИ, но также возросло стремление к регулированию.

Исследование подтверждает предупреждение генерального директора OpenAI Сэма Альтмана, который сказал, что ИИ в конечном итоге достигнет сверхчеловеческой силы убеждения, и это «может привести к некоторым очень странным результатам».

Есть еще одно исследование, проведенное EPFL и итальянским фондом Бруно Кесслера, которое показало, что GPT-4, благодаря доступу к личной информации, смог увеличить согласие участников с аргументами их оппонентов на замечательные 81,7 процента по сравнению с дебатами между людьми.

Краткие сведения

1. Исследование, проведенное Университетом Пассау, показало, что ответы, сгенерированные искусственным интеллектом в политических дебатах, воспринимаются британской общественностью как более достоверные и актуальные, чем реальные ответы общественных деятелей.
2. Исследование было основано на опросе 948 граждан Великобритании, которые оценили вопросы и ответы из программы BBC Question Time, а также ответы, сгенерированные GPT-4 Turbo. Несмотря на различия в содержании, ответы искусственного интеллекта были признаны достоверными.
3. Авторы исследования предупреждают о возможных последствиях для политической коммуникации и подчеркивают необходимость информирования общественности о возможностях искусственного интеллекта. Более 85% респондентов призвали к прозрачности использования искусственного интеллекта в публичных дебатах.