Агентный ИИ становится ближе, если имеющийся у вас Open Source-стек данных может взять на себя большую часть тяжелой работы, пишет на портале The New Stack Бен Слейтер, вице-президент и генеральный менеджер Instaclustr by NetApp.

Инженерные руководители стремятся создавать решения для агентного ИИ, и многие планируют крупные инфраструктурные покупки. Но большинству они не нужны. Полностью открытые платформы данных, на которых уже работают их приложения, могут обеспечить эффективную работу агентов ИИ с помощью целевых апгрейдов. Стратегия, особенно при долгосрочном бюджетировании, должна заключаться в расширении имеющихся возможностей везде, где это возможно, а не в их полной замене.

Агентный ИИ выглядит новшеством, но его инфраструктурные шаблоны — нет. Агентам требуются потоковые входные данные, надежное и масштабируемое хранилище, извлечение данных с низкой задержкой и эластичные вычисления для работы моделей. Это те же шаблоны, с которыми ежедневно работают Apache Kafka, Kubernetes, Postgres, Cassandra и OpenSearch. Изменение заключается в оптимизации, ориентированной на ИИ, а не в замене стека.

Проверка реальности для агентного ИИ

Агенты реагируют на события, извлекают контекст, принимают решения, действуют и обучаются. Это четко соответствует современным строительным блокам с открытым исходным кодом.

Kafka обрабатывает события в режиме реального времени, чтобы агенты реагировали с учетом контекста.

Kubernetes оркестрирует высокопроизводительные рабочие нагрузки, требующие значительных ресурсов GPU, без лишних затрат.

Postgres (с pgvector!) добавляет поиск по сходству векторов для генерации с расширенной выборкой (RAG) и семантического поиска.

Cassandra 5.0 добавляет встроенную векторную индексацию в глобальном масштабе.

OpenSearch выводит векторный поиск на привычный уровень поиска и аналитики. (OpenSearch k-NN обеспечивает векторный поиск по полю knn_vector и поддерживает распространенные методы, такие как поиск ближайших соседей с помощью иерархического маленького мира, или HNSW.)

Результат — путь к агентному ИИ, использующему платформы, с которыми уже работают ваши команды.

Все это не требует проприетарной платформы, готовой к использованию ИИ, но требует четких шаблонов и продуманных интерфейсов. Сохраните знакомую инфраструктуру, добавьте возможности векторной обработки при необходимости и настройте потоковую передачу и хранилище в соответствии с шаблонами доступа ваших агентов.

Композитная схема, которую вы можете реализовать уже сегодня

Можете считать меня предвзятым, но композитность лучше монолитности. В идеале вам нужно собрать минимальный набор проверенных компонентов и масштабировать каждый по своей кривой.

Обычная схема может выглядеть так: Kafka или другой потоковый сервис получает события от приложений, устройств и сервисов. Хранилище функций или уровень обработки событий обогащают эти события. Postgres или Cassandra хранят как операционные данные, так и векторные вложения. OpenSearch индексирует документы и векторы для быстрого поиска. Kubernetes планирует службы агентов, рабочие процессы поиска и среды выполнения моделей. Все это доступно для наблюдаемости и управляется политиками.

Этот подход поддерживает множество типов агентов без необходимости перестраивать фундамент. Агент поддержки использует те же хранилища потоков и векторов, что и агент по борьбе с мошенничеством или агент анализа документов. Вы изменяете запросы, правила поиска и политики, но не меняете основную инфраструктуру.

Композитность также снижает риски. Вы можете добавить пилотный агент, не вмешиваясь в критически важные системы. Вы можете откатиться без переговоров с поставщиком и, что важно, заменить компонент при изменении ваших потребностей.

Безопасность, которую можно проверить

Агенты будут обрабатывать данные клиентов и принимать критически важные бизнес-решения, а вам нужны прозрачность и контроль. Правильный Open Source-уровень данных обеспечит вам и то, и другое. Вы можете проводить аудит путей кода, применять политики и подтверждать средства контроля. Kubernetes предоставляет доступ на основе ролей и сетевые политики; Kafka поддерживает шифрование и детальную авторизацию; Postgres и Cassandra обеспечивают надежное шифрование, роли и ведение журнала аудита; а OpenSearch интегрируется с распространенными поставщиками аутентификации и контроля доступа.

Концепция нулевого доверия подходит естественным образом. Относитесь к каждой службе, модели и агенту как к недоверенным по умолчанию, устанавливая минимальные привилегии на каждом уровне. Обеспечьте полное журналирование и четкую прозрачность потоков данных. Владея стеком, вы можете отвечать регулирующим органам и совету директоров по конкретным вопросам, а не полагаться на гарантии поставщиков.

Начните с вертикального среза

В идеале, перед началом проекта по созданию агентного ИИ следует провести инвентаризацию своего стека с учетом жизненного цикла агента. В зависимости от того, какие Open Source-проекты данных вы уже развернули, у вас может быть от 70 до 80% необходимых ресурсов. Затем добавьте векторные возможности там, где они приносят немедленную пользу. Начните с наиболее эффективных путей извлечения данных и наиболее распространенных типов контента.

Я бы начал с выбора одного сценария использования, который подтвердит правомерность такого подхода. Хорошими первыми целями могут быть извлечение данных из служб поддержки клиентов, поиск данных для стимулирования продаж или внутренние помощники по знаниям. Создайте небольшой вертикальный срез, который будет работать от начала до конца (охватывая прием данных, извлечение данных, агента и один путь действий). Измерьте задержку, точность извлечения данных и частоту инцидентов. Настройте и повторите.

Кодифицируйте безопасность с первого дня, привязывая сеансы, применяя аутентификацию между всеми сервисами и подробно регистрируя извлечения данных и действия. Определите, что агент никогда не должен делать, и держите людей в курсе событий, когда требуется принятие решений или существует высокий риск.

Вы также можете избежать привязки к поставщику, выбирая управляемые сервисы для своего Open Source-стека, когда это целесообразно, не уступая контроль проприетарной платформе, которая диктует вашу архитектуру. Всегда сохраняйте свободу выбора и переносимость данных.

Преимущество немедленной готовности

Агентный ИИ становится ближе, если уже имеющийся у вас Open Source-стек данных может взять на себя большую часть сложной работы. Развивайте его сейчас, чтобы ускорить внедрение, сократить расходы и сохранить контроль над данными и рисками.