Чат-боты говорят людям то, что они хотят услышать

Новости сегодня - Чат-боты говорят людям то, что они хотят услышать

Согласно новому исследованию, проведенному Университетом Джонса Хопкинса, чат-боты делятся ограниченной информацией, укрепляют идеологии и, как следствие, могут привести к более поляризованному мышлению, когда дело касается спорных вопросов.

Исследование бросает вызов представлениям о том, что чат-боты беспристрастны, и дает представление о том, как использование диалоговых поисковых систем может расширить общественный разрыв по острым вопросам и сделать людей уязвимыми для манипуляций.

«Поскольку люди читают краткий абзац, созданный ИИ, они думают, что получают объективные, основанные на фактах ответы», — сказал ведущий автор Цзян Сяо, доцент кафедры информатики в Университете Джонса Хопкинса, изучающий взаимодействие человека и ИИ. «Даже если чат-бот не предназначен для предвзятости, его ответы отражают предвзятость или склонности человека, задающего вопросы. Так что на самом деле люди получают ответы, которые хотят услышать».

Сяо и его команда поделятся своими выводами на конференции CHI Ассоциации вычислительной техники по человеческому фактору в вычислительных системах в 17:00 по восточному времени в понедельник, 13 мая.

Чтобы увидеть, как чат-боты влияют на онлайн-поиск, команда сравнила, как люди взаимодействовали с различными поисковыми системами и как они относились к спорным вопросам до и после их использования.

Исследователи попросили 272 участника написать свои мысли по таким темам, как здравоохранение, студенческие кредиты или города-убежища, а затем найти дополнительную информацию в Интернете по этой теме, используя либо чат-бота, либо традиционную поисковую систему, созданную для исследования.

После рассмотрения результатов поиска участники написали второе эссе и ответили на вопросы по теме. Исследователи также попросили участников прочитать две противоположные статьи и расспросили их о том, насколько они доверяют этой информации и считают ли они эти точки зрения крайними.

Исследователи обнаружили, что поскольку чат-боты предлагали более узкий спектр информации, чем традиционные веб-поиски, и давали ответы, которые отражали ранее существовавшие взгляды участников, участники, которые их использовали, стали больше интересоваться своими оригинальными идеями и сильнее реагировали на информацию, которая бросала вызов их взглядам, обнаружили исследователи.

«Люди склонны искать информацию, которая соответствует их точкам зрения, и такое поведение часто загоняет их в эхо-камеру единомышленников», — сказал Сяо. «Мы обнаружили, что эффект эхо-камеры при использовании чат-ботов сильнее, чем при традиционном веб-поиске».

По словам Сяо, эхо-камера частично связана с тем, как участники взаимодействовали с чат-ботами. Вместо того, чтобы вводить ключевые слова, как это делают люди в традиционных поисковых системах, пользователи чат-ботов, как правило, вводят полные вопросы, например: «Каковы преимущества всеобщего здравоохранения?» или «Какова стоимость всеобщего здравоохранения ?» Чат-бот отвечал бы краткой информацией, включающей только выгоды и затраты.

«С помощью чат-ботов люди склонны быть более выразительными и формулировать вопросы в более разговорной форме. Это зависит от того, как мы говорим», — сказал Сяо. «Но наш язык может быть использован против нас».

Разработчики ИИ могут научить чат-ботов извлекать подсказки из вопросов и выявлять предубеждения людей, сказал Сяо. Как только чат-бот узнает, что нравится или не нравится человеку, он может соответствующим образом адаптировать свои ответы.

Фактически, когда исследователи создали чат-бота со скрытой целью, призванного договариваться с людьми, эффект эхо-камеры был еще сильнее.

Чтобы попытаться противодействовать эффекту эхо-камеры, исследователи научили чат-бота давать ответы, которые не согласились с участниками. Мнения людей не изменились, сказал Сяо. Исследователи также запрограммировали чат-бота , который будет ссылаться на исходную информацию, чтобы побудить людей проверять факты, но это сделали лишь несколько участников.

«Поскольку системы на основе ИИ становится все проще создавать, у злоумышленников появятся возможности использовать ИИ для создания более поляризованного общества», — сказал Сяо. «Создание агентов, которые всегда представляют мнение другой стороны, является наиболее очевидным вмешательством, но мы обнаружили, что они не работают».

Среди авторов — аспирант Университета Джонса Хопкинса Нихил Шарма и главный научный сотрудник Microsoft К. Вера Ляо.

Новости партнеров: