RAG может делать модели ИИ более рискованными и менее надежными

По данным Bloomberg Research, набирающая популярность технология Retrieval-Augmented Generation (RAG, генерация с расширенной выборкой) может значительно увеличить ваши шансы получить от моделей искусственного интеллекта опасные ответы, сообщает портал ZDNet.

RAG быстро становится надежной основой для организаций, стремящихся использовать всю мощь генеративного ИИ на своих бизнес-данных. Предприятия стремятся выйти за рамки общих ответов ИИ и задействовать свои уникальные базы знаний, а RAG объединяет общие возможности ИИ и специфические знания в конкретной области.

Сотни, а возможно, и тысячи компаний уже используют RAG-сервисы, и их внедрение ускоряется по мере развития технологии.

Это хорошая новость. Плохая новость: согласно Bloomberg Research, RAG также может значительно увеличить шансы получить опасные ответы.

Прежде чем перейти к рассмотрению опасностей, давайте разберемся, что такое RAG и в чем его преимущества.

Что такое RAG?

RAG — это архитектура ИИ, которая объединяет сильные стороны моделей генеративного ИИ — таких как GPT-4, LLaMA 3 или Gemma — с информацией вашей компании. RAG позволяет большим языковым моделям (LLM) получать доступ к внешним знаниям, хранящимся в базах данных, документах и потоках данных, а не полагаться только на предварительно обученные на «знаниях о мире» LLM.

Когда пользователь отправляет запрос, система RAG сначала извлекает наиболее релевантную информацию из базы знаний. Затем она передает эту информацию вместе с исходным запросом в LLM.

Максим Вермейр, старший директор по ИИ-стратегии ABBYY, описывает RAG как систему, которая позволяет «генерировать ответы не только на основе обучающих данных, но и на основе конкретных, актуальных знаний, которые вы предоставляете. В результате ответы получаются более точными, релевантными и адаптированными к условиям вашего бизнеса».

Почему стоит использовать RAG?

Преимущества использования RAG очевидны. Несмотря на то, что LLM являются мощными инструментами, им не хватает информации, специфичной для продуктов, услуг и планов вашего бизнеса. Например, если ваша компания работает в нишевой отрасли, ваши внутренние документы и собственные знания представляют собой гораздо большую ценность при генерации ИИ ответов, чем те, что можно найти в открытых базах данных.

Предоставив LLM во время запроса доступ к фактическим данным вашего бизнеса — будь то PDF-файлы, документы Word или ответы на часто задаваемые вопросы (FAQ), — вы получите гораздо более точные ответы на свои вопросы.

Кроме того, RAG уменьшает количество галлюцинаций. Это достигается за счет того, что ответы ИИ основываются на надежных внешних или внутренних источниках данных. Когда пользователь отправляет запрос, система RAG извлекает соответствующую информацию из курируемых баз данных или документов. Она предоставляет этот фактический контекст языковой модели, которая затем генерирует ответ, основываясь как на своем обучении, так и на полученных данных. Этот процесс снижает вероятность того, что ИИ сфабрикует информацию, поскольку его ответы могут быть отслежены до ваших собственных источников.

«Вместо того чтобы просто получать ответы на основе воспоминаний, закодированных во время первоначального обучения модели, вы используете поисковую систему для получения реальных документов — будь то прецедентное право, статьи или что-либо еще — и затем привязываете ответ модели к этим документам», — отмечает Пабло Арредондо, вице-президент Thomson Reuters.

ИИ-механизмы с поддержкой RAG все еще могут создавать галлюцинации, но вероятность этого снижается.

Еще одно преимущество RAG заключается в том, что она позволяет извлекать полезную информацию из неорганизованных источников многолетних данных, доступ к которым в противном случае был бы затруднен.

Предыдущие проблемы с RAG

Хотя RAG предлагает значительные преимущества, это не волшебная пуля. Если ваши данные плохие, то на ум приходит фраза «мусор на входе, мусор на выходе».

С этим связана проблема: если в ваших файлах есть устаревшие данные, RAG извлечет их и будет воспринимать как евангельскую истину. Это быстро приведет к разного рода головным болям.

Наконец, ИИ не настолько умен, чтобы очистить все ваши данные за вас. Вам нужно будет организовать свои файлы, управлять векторными базами данных RAG и интегрировать их с вашими LLM, прежде чем LLM с поддержкой RAG станет продуктивной.

Новые опасности RAG

Вот что обнаружили исследователи Bloomberg: RAG может сделать модели менее «безопасными», а их результаты — менее надежными.

Bloomberg протестировала 11 ведущих LLM, включая GPT-4o, Claude-3.5-Sonnet и Llama-3-8 B, используя более 5000 вредных подсказок. Модели, которые отклоняли небезопасные запросы в стандартных (не-RAG) настройках, выдавали проблемные ответы, когда в LLM была включена RAG.

Было обнаружено, что даже «безопасные» модели демонстрируют 15-30%-ное увеличение небезопасных результатов при использовании RAG. Более того, более длинные извлеченные документы коррелировали с более высоким риском, поскольку LLM пытались приоритизировать безопасность. В частности, Bloomberg сообщила, что даже очень безопасные модели, «которые отказывались отвечать почти на все опасные запросы в условиях отсутствия RAG, становились более уязвимыми при подключении RAG».

О каких проблемах говорят исследователи? Bloomberg, как и следовало ожидать, изучала финансовые результаты. Исследователи увидели, что ИИ сливает конфиденциальные данные клиентов, создает вводящие в заблуждение анализы рынка и дает необъективные инвестиционные рекомендации.

Кроме того, модели с поддержкой RAG с большей вероятностью выдавали опасные ответы, которые могли использоваться во вредоносных программах и политических кампаниях.

Аманда Стент, руководитель отдела стратегий и исследований в области ИИ в офисе технического директора Bloomberg, поясняет: «Этот контринтуитивный вывод имеет далеко идущие последствия, учитывая, насколько широко RAG используется в приложениях ИИ, таких как агенты поддержки клиентов и системы ответов на вопросы. Среднестатистический пользователь Интернета ежедневно взаимодействует с системами на основе RAG. Специалисты в области ИИ должны тщательно продумать, как ответственно использовать RAG и какие существуют защитные механизмы, чтобы обеспечить надлежащий результат».

Себастьян Германн, руководитель отдела ответственного ИИ в Bloomberg, добавляет: «Заложенное в RAG динамическое привлечение внешних данных создает непредсказуемые поверхности для атак. Для борьбы с ними необходимо создавать многоуровневые меры защиты, а не просто полагаться на заявления поставщиков моделей».

Что вы можете сделать?

Bloomberg предлагает создать новые системы классификации опасностей, зависящих от конкретной предметной области. Компаниям, внедряющим RAG, также следует усовершенствовать свои защитные механизмы, объединив проверки бизнес-логики, уровни проверки фактов и тестирование с привлечением сотрудников. Что касается финансового сектора, Bloomberg рекомендует изучить и протестировать сайт компании на предмет потенциального раскрытия конфиденциальной информации, фальсификации фактов, проблем с беспристрастностью и неправомерным поведением в сфере финансовых услуг.

Вы должны серьезно отнестись к этим вопросам. Поскольку регуляторы усиливают контроль над ИИ в финансовой сфере, RAG, несмотря на свою мощь, требует строгих протоколов безопасности, учитывающих специфику конкретной области. И последнее, но не менее важное: нетрудно представить, что на компанию подадут в суд, если ее ИИ-системы будут давать клиентам не просто плохие, а откровенно неправильные ответы и советы.