Loading ...Под прикрытием анонимности и компании незнакомцев растет привлекательность цифрового мира как места для поиска поддержки в области психического здоровья. Это явление поддерживается тем фактом, что более 150 миллионов человек в Соединенных Штатах проживают в федерально определенных районах нехватки специалистов в области психического здоровья.
«Мне очень нужна ваша помощь, так как я слишком боюсь обращаться к психотерапевту, и я все равно не могу к нему попасть».
«Не слишком ли я остро реагирую, обижаясь на то, что муж высмеивает меня перед друзьями?»
«Могут ли незнакомцы высказаться по поводу моей жизни и решить за меня мое будущее?»
Приведенные выше цитаты являются реальными сообщениями, взятыми у пользователей Reddit, новостного сайта и форума в социальных сетях, где пользователи могут делиться контентом или спрашивать совета на небольших форумах по интересам, известных как «субреддиты».
Используя набор данных из 12 513 постов с 70 429 ответами из 26 сабреддитов, посвященных психическому здоровью, исследователи из Массачусетского технологического института, Нью-Йоркского университета (NYU) и Калифорнийского университета в Лос-Анджелесе (UCLA) разработали структуру, помогающую оценить справедливость и общее качество чат-ботов для поддержки психического здоровья на основе больших языковых моделей (LLM), таких как GPT-4.
Для этого исследователи попросили двух лицензированных клинических психологов оценить 50 случайно выбранных постов Reddit с просьбой о поддержке психического здоровья, сопоставляя каждый пост либо с реальным ответом пользователя Reddit, либо с ответом, сгенерированным GPT-4. Не зная, какие ответы были реальными, а какие были сгенерированы ИИ, психологов попросили оценить уровень эмпатии в каждом ответе.
Их работа была недавно представлена на конференции 2024 года по эмпирическим методам обработки естественного языка ( EMNLP 2024 ). Она доступна на сервере препринтов arXiv .
Чат-боты для поддержки психического здоровья уже давно изучаются как способ улучшения доступа к поддержке психического здоровья, но мощные LLM-программы, такие как ChatGPT от OpenAI, трансформируют взаимодействие человека и ИИ, при этом ответы, сгенерированные ИИ, становится все сложнее отличить от ответов реальных людей.
Несмотря на этот замечательный прогресс, непреднамеренные последствия поддержки психического здоровья с помощью ИИ привлекли внимание к ее потенциально смертельным рискам: в марте прошлого года бельгиец покончил жизнь самоубийством в результате обмена с ELIZA, чат-ботом, разработанным для имитации психотерапевта, оснащенного степенью магистра права под названием GPT-J. Месяц спустя Национальная ассоциация расстройств пищевого поведения приостановила работу своего чат-бота Тессы после того, как чат-бот начал давать советы по диете пациентам с расстройствами пищевого поведения.
Саадия Габриэль, недавно окончившая Массачусетский технологический институт, а теперь доцент Калифорнийского университета в Лос-Анджелесе и первый автор статьи, призналась, что изначально она была очень скептически настроена относительно того, насколько эффективными могут быть чат-боты для поддержки психического здоровья.
Габриэль провела это исследование во время своей работы постдоком в Массачусетском технологическом институте в группе здорового машинного обучения под руководством Марзие Гассеми, доцента кафедры электротехники и компьютерных наук Массачусетского технологического института и Института медицинской инженерии и науки Массачусетского технологического института, которая связана с Клиникой машинного обучения в здравоохранении имени Абдула Латифа Джамиля и Лабораторией компьютерных наук и искусственного интеллекта Массачусетского технологического института.
Габриэль и группа исследователей обнаружили, что реакции GPT-4 были не только более эмпатичными в целом, но и на 48% лучше способствовали позитивным изменениям в поведении, чем реакции человека.
Однако при оценке смещения исследователи обнаружили, что уровень эмпатии в ответе GPT-4 был ниже для чернокожих (на 2–15% ниже) и азиатских плакатов (на 5–17% ниже) по сравнению с белыми плакатами или плакатами, раса которых неизвестна.
Чтобы оценить предвзятость ответов GPT-4 и ответов людей, исследователи включили различные виды постов с явными утечками демографических данных (например, пол, раса) и скрытыми утечками демографических данных.
Явная демографическая утечка будет выглядеть так: «Я чернокожая женщина, 32 года».
В то время как неявная демографическая утечка будет выглядеть так: «32-летняя девушка с моими натуральными волосами», в которой ключевые слова используются для указания определенных демографических данных для GPT-4.
За исключением чернокожих женщин, опубликовавших посты, ответы GPT-4 оказались менее подвержены влиянию явной и неявной утечки демографических данных по сравнению с ответами людей, которые, как правило, были более сочувственными, отвечая на посты с неявными демографическими предложениями.
«Структура входных данных, которые вы предоставляете [магистру права], и некоторая информация о контексте, например, хотите ли вы, чтобы [магистр права] действовал в стиле клинициста, в стиле поста в социальных сетях или же хотите, чтобы он использовал демографические характеристики пациента, оказывают большое влияние на ответ, который вы получите», — говорит Габриэль.
В статье предполагается, что предоставление магистрантам права явных инструкций по использованию демографических характеристик может эффективно устранить предвзятость, поскольку это единственный метод, при котором исследователи не наблюдали существенной разницы в эмпатии между различными демографическими группами.
Габриэль надеется, что эта работа поможет обеспечить более комплексную и вдумчивую оценку программ LLM, реализуемых в клинических условиях в различных демографических подгруппах.
«LLM уже используются для оказания поддержки пациентам и были развернуты в медицинских учреждениях, во многих случаях для автоматизации неэффективных человеческих систем», — говорит Гассеми. «Здесь мы продемонстрировали, что, хотя современные LLM, как правило, меньше подвержены демографической утечке, чем люди в одноранговой поддержке психического здоровья, они не обеспечивают равноправного реагирования на психическое здоровье в предполагаемых подгруппах пациентов… у нас есть много возможностей для улучшения моделей, чтобы они обеспечивали улучшенную поддержку при использовании».
Новости партнеров:
Вам могло бы понравиться:
98
