Loading ...Интернет-поисковик будущего будет работать на основе искусственного интеллекта. Уже сейчас можно выбирать из множества поисковых систем на базе искусственного интеллекта или с улучшенным искусственным интеллектом, хотя их надежность часто оставляет желать лучшего. Однако группа компьютерных ученых из Массачусетского университета в Амхерсте недавно опубликовала и выпустила новую систему оценки надежности поисков, сгенерированных искусственным интеллектом.
Метод, названный «eRAG», представляет собой способ заставить ИИ и поисковую систему общаться друг с другом, а затем оценить качество поисковых систем для использования ИИ. Работа опубликована в рамках Трудов 47-й Международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска .
«Все поисковые системы, которыми мы когда-либо пользовались, были разработаны для людей», — говорит Алиреза Салеми, аспирант Колледжа информации и компьютерных наук Мэннинга Массачусетского университета в Амхерсте и ведущий автор статьи.
«Они работают довольно хорошо, когда пользователь — человек, но поисковой системой будущего основного пользователя станет одна из больших языковых моделей ИИ (LLM), например ChatGPT. Это означает, что нам нужно полностью перепроектировать работу поисковых систем, и мое исследование изучает, как LLM и поисковые системы могут учиться друг у друга».
Основная проблема, с которой сталкиваются Салеми и старший автор исследования Хамед Замани, доцент кафедры информации и компьютерных наук Массачусетского университета в Амхерсте, заключается в том, что у людей и магистров права совершенно разные информационные потребности и потребительское поведение.
Например, если вы не можете вспомнить название и автора новой книги, которая только что была опубликована, вы можете ввести ряд общих поисковых терминов, например, «какой новый шпионский роман с уклоном на окружающую среду от этого известного писателя?», а затем сузить результаты или запустить еще один поиск, когда вспомните больше информации (автор — женщина, написавшая роман «Огнеметы»), пока не найдете правильный результат («Озеро Создания» Рэйчел Кушнер — Google выдал его третьим результатом после выполнения описанного выше процесса).
Но так работают люди, а не LLM. Они обучаются на определенных, огромных наборах данных, и все, что не входит в этот набор данных — например, новая книга, которая только что появилась на прилавках — фактически невидимо для LLM.
Кроме того, они не особенно надежны в случае нечетких запросов, поскольку LLM должен иметь возможность запрашивать у движка дополнительную информацию; но для этого ему нужно знать правильную дополнительную информацию, которую нужно запросить.
Ученые-компьютерщики разработали способ помочь LLM оценивать и выбирать необходимую им информацию, который называется «генерация дополненного поиска» или RAG. RAG — это способ дополнения LLM списками результатов, созданными поисковыми системами. Но, конечно, вопрос в том, как оценить, насколько полезны результаты поиска для LLM?
Пока исследователи придумали три основных способа сделать это: первый — краудсорсинг точности суждений о релевантности с группой людей. Однако это очень затратный метод, и люди могут не обладать тем же чувством релевантности, что и LLM.
Можно также заставить LLM генерировать оценку релевантности, что намного дешевле, но точность страдает, если нет доступа к одной из самых мощных моделей LLM. Третий способ, который является золотым стандартом, заключается в оценке сквозной производительности LLM, дополненных поиском.
Но даже этот третий метод имеет свои недостатки. «Это очень дорого», — говорит Салеми, «и есть некоторые вопросы, касающиеся прозрачности. Мы не знаем, как LLM пришел к своим результатам; мы просто знаем, что он либо сделал это, либо нет». Более того, сейчас существует несколько десятков LLM, и каждый из них работает по-разному, возвращая разные ответы.
Вместо этого Салеми и Замани разработали eRAG, который похож на метод золотого стандарта, но гораздо более экономичен, работает до трех раз быстрее, использует в 50 раз меньше мощности графического процессора и почти так же надежен.
«Первым шагом к разработке эффективных поисковых систем для агентов ИИ является их точная оценка», — говорит Замани. «eRAG предоставляет надежную, относительно эффективную и действенную методологию оценки поисковых систем, используемых агентами ИИ».
Вкратце, eRAG работает следующим образом: пользователь-человек использует агента ИИ на базе LLM для выполнения задачи. Агент ИИ отправит запрос в поисковую систему, а поисковая система вернет дискретное количество результатов — скажем, 50 — для потребления LLM.
eRAG пропускает каждый из 50 документов через LLM, чтобы выяснить, какой конкретный документ LLM посчитал полезным для генерации правильного вывода. Затем эти оценки на уровне документов суммируются для оценки качества поисковой системы для агента ИИ.
Хотя в настоящее время не существует поисковой системы , которая могла бы работать со всеми основными разработанными LLM, точность, экономическая эффективность и простота внедрения eRAG являются важным шагом на пути к тому дню, когда все наши поисковые системы будут работать на основе искусственного интеллекта.
Это исследование было удостоено награды Best Short Paper Award Международной конференции по исследованиям и разработкам в области информационного поиска (SIGIR 2024) Ассоциации вычислительной техники.
Новости партнеров:
Вам могло бы понравиться:
232
