Если верить заголовкам новостей, большие языковые модели (LLM) волшебным образом меняют способ создания бизнес-приложений на основе генеративного ИИ (GenAI). «Просто засуньте свои знания в тонко настроенную, поддерживающую векторные вложения, работающую по подсказкам LLM от одного из крупных игроков», — утверждают авторы многих статей. На самом деле все не так просто, пишет в корпоративном блоге Тед Шадлер, вице-президент и главный аналитик Forrester.

Для создания и эксплуатации бизнес-приложений на базе GenAI требуется нечто большее, чем специализированная LLM. Такой упрощенный подход не позволит масштабировать систему, не будет экономически эффективным, не обеспечит полной защиты и не позволит использовать все ваши собственные знания.

Чтобы найти лучший способ, мы изучили передовой опыт и поговорили с 15 крупнейшими сервис-провайдерами о том, как они сами используют GenAI и как помогают компаниям из списка Global 2000 создавать бизнес-приложения на базе GenAI.

На основе этих данных и после нескольких месяцев обсуждений мы определили более комплексную архитектуру GenAI-приложений с «уровнями» (layers), «шлюзами» (gates), «пайпами» (pipes) и «контурами» (loops):

  • Интеллектуальные уровни, объединяющие внутренние и внешние возможности. Интеллектуальные уровни включают в себя ошеломляющий набор возможностей, в том числе модели общего назначения, специализированные и встроенные модели и инструменты GenAI от поставщиков, а также ваши собственные модели знаний. Например, уровни, в которых собраны ваши знания для чатбота по работе с клиентами или инструменты для отдела продаж, позволяющие включить в презентацию ваши продукты, ценностное предложение и боевые карты конкурентов. Кроме того, сюда также необходимо включить возможности моделей MО и ИИ, ПО и т. д.
  • Входные и выходные контрольные шлюзы для защиты людей, компании и самих моделей. Входные шлюзы отсеивают плохие запросы и превращают нечеткие запросы в действенные подсказки. Чатбот для сотрудников HR-службы не должен генерировать программный код, но он должен уметь подробно отвечать на вопросы о льготах. Входные шлюзы также обеспечивают безопасность моделей, отклоняя запросы, которые могут сбить их с пути. Выходные шлюзы различных типов проверяют выходные данные на безопасность, соответствие нормативным требованиям, нелепость, плохой контент, соответствие бренду и т. д., прежде чем выдать ответ (часто с участием человека, принимающего окончательное решение).
  • Прикладные пайпы для подсказок, встраивания и оркестровки возможностей для генерации ответов. Вы сможете воспользоваться давно известной методикой разработки под названием «пайпы» (pipes) для использования API, чтобы задействовать все ресурсы ваших интеллектуальных уровней, каждый из которых запрашивается по очереди. Оркестровка заключается в обеспечении беспрепятственного сквозного прохождения API-вызовов, подобно прохождению изделия по участкам производственной линии на заводе. Эта малосвязная архитектура, ориентированная на API, выполняет всю тяжелую работу. Она также предоставляет платформу для реализации инструментальных панелей и возможностей мониторинга, управления и эксплуатации приложения.
  • Контуры тестирования и обучения позволяют тестировать приложения, отслеживать результаты и вносить коррективы. Контуры обратной связи — четвертая часть архитектуры. Они жизненно важны для установления достоверности, доверия и уверенности в приложении. Приложения на базе GenAI — это пульсирующие, вибрирующие организмы. Подобно электростанции или парку Юрского периода, они нуждаются в постоянном уходе. Вам понадобится не только протестировать приложение на базе GenAI, прежде чем включить его, но и постоянно наблюдать за ним и перепроверять его работу, чтобы быть уверенными, что оно не вышло из строя. Вам придется следить за качеством, производительностью, затратами и отклонениями.