Агенты искусственного интеллекта галлюцинируют без операционного контекста. Решение? Используйте метаданные оркестрации в качестве «бортового самописца», чтобы привязать ИИ к реальности, пишет на портале The New Stack Джулиан Ланеве, технический директор Astronomer.

Все стремятся внедрить агентов ИИ для работы с данными. Они хотят, чтобы те писали SQL-запросы, отлаживали конвейеры, генерировали тесты, автоматически документировали ресурсы и предоставляли инсайты по запросу. Создается впечатление, что обещание аналитики самообслуживания, которой ждали инженеры данных, наконец-то сбылось.

К сожалению, эти развертывания терпят неудачу просто потому, что агенты не понимают, как на самом деле работает платформа данных. Они не знают, каким таблицам доверять, стабильны ли конвейеры или кто за что отвечает. Они не могут отследить, как изменение схемы в одном домене приводит к нарушению дашбордов, моделей и метрик в других местах.

Поэтому они галлюцинируют. Они запрашивают устаревшие или неактуальные активы, оптимизируют работу с неправильными источниками и дают руководителям хорошо написанные, но систематически неверные ответы.

Это то, что я называю «контекстной стеной»: жесткая граница между тем, что может генерировать ИИ, и тем, что он может надежно привнести в производственную реальность. Контекстная стена заставляет сместить акцент с привлекательных интерфейсов на инфраструктурный уровень, потому что именно там уже находится настоящий интеллект.

Почему сегодняшние агенты ИИ работают вслепую

Большинство корпоративных стратегий ИИ по-прежнему рассматривают контекст как второстепенный фактор. Большая языковая модель (LLM) просто добавляется поверх хранилища данных. Возможно, есть каталог, или внутренние документы индексируются и интегрируются в систему генерации с расширенным поиском (RAG). На бумаге у агента есть схемы и описания. На практике же у него почти нет представления об операционной истине.

Агент не знает, завершилась ли вчерашняя задача неудачей, выводятся ли из эксплуатации названия таблиц или доверяет ли финансовый отдел определенной тщательно отобранной таблице для закрытия отчетного периода. Он не может определить, должно ли нарушение вышестоящего соглашения об уровне обслуживания (SLA) привести к аннулированию пяти нижестоящих дашбордов.

Без живого оперативного контекста агенты ИИ превращаются в красивые пользовательские интерфейсы, основанные на неполных метаданных. Они хороши для демонстраций, но опасны для решений, связанных с доходами, рисками или регулированием.

Если мы хотим, чтобы агенты могли быть встроены в критически важные рабочие процессы, они не могут быть слепыми «вторыми пилотами». Им необходимо видеть, как данные создаются, проверяются, перемещаются и потребляются — непрерывно, а не только на этапе проектирования.

Оркестрация: недостающий контекстный слой

Каждый раз, когда конвейер запускается, завершается с ошибкой, повторяется, проходит тест или нарушает SLA, система оркестрации записывает это. Со временем образуется полная операционная запись, содержащая информацию о происхождении, состоянии, владельце и использовании данных в озерах, хранилищах, потоках и приложениях — а не только в одной системе.

Это делает метаданные оркестрации фактически «бортовым самописцем» для всей платформы данных, который обеспечивает:

  • отображение происхождения и цепочек зависимостей в режиме реального времени;
  • отображение того, что работает, а что хронически неисправно;
  • четкие сигналы о принадлежности и реагировании;
  • доказательства того, какие активы действительно критически важны для бизнеса.

Именно эту общую картину сегодня упускают из виду большинство агентов ИИ.

В сложных и жестко регулируемых средах это становится серьезным пробелом. Финансовые услуги, здравоохранение, критическая инфраструктура, государственный сектор и удаленные или изолированные развертывания — всем им необходимы доказуемое происхождение, строгий контроль и объяснимость. В таких условиях оркестрация является источником истины, который делает возможным создание надежного ИИ.

Как выглядит ИИ-нативная платформа с интеллектуальной оркестрацией

ИИ-нативная платформа данных начинается не с чат-бота. Она начинается с превращения оркестрации в контекстный механизм как для людей, так и для агентов. Давайте сравним двух агентов.

Агент А подключен только к хранилищу и каталогу. Он видит схемы, имена и устаревшую документацию, но не может отличить золото от мусора. Он с удовольствием сгенерирует SQL поверх неработающих конвейеров и расскажет об этом захватывающую историю.

Агент B основан на оркестрации. Прежде чем рекомендовать или запрашивать таблицу, он проверяет историю выполнения, результаты тестов, SLA, происхождение и важность последующих этапов. По умолчанию он использует активы, которые являются работоспособными, управляемыми и контролируемыми, и может объяснить свой выбор. Если ключевое задание завершается с ошибкой, он знает, какие метрики, дашборды и рабочие процессы ИИ следует отметить или приостановить.

Как только интеллектуальная оркестрация становится основой, естественным образом возникают новые возможности:

  • SQL и инсайты, учитывающие надежность данных: агенты выбирают источники на основе их работоспособности и сертификации, а не на основе догадок.
  • Мгновенный анализ воздействия: изменение схемы или конвейера запускает автоматическое обнаружение зоны поражения.
  • Наблюдаемость «из коробки»: поскольку открытые экосистемы, такие как Apache Airflow, уже интегрированы по всему стеку, происхождение и метаданные фиксируются по мере выполнения конвейеров.
  • Юзабилити как для человека, так и для агентов: один и тот же контекстный слой доступен для поиска и исследования инженерами, операторами и агентами ИИ.

Вот что на самом деле означает «ИИ-нативный» здесь. Это ИИ, который рожден внутри внутренних операций платформы, а не прикреплен к ней.

Куда мы двинемся дальше

Настоящим узким местом в корпоративном ИИ уже является не модель. Это отсутствие контекста, привязанного к конкретным условиям.

Рассмотрение телеметрии оркестрации как стратегического инструмента и предоставление доступа к ее данным о происхождении, работоспособности, владении и использовании в виде общего контекстного слоя — вот как ИИ становится надежным. По мере того, как все больше работы передается агентам, системы, которые с самого начала учитывают этот контекст, будут оставаться точными, объяснимыми и безопасными в производственной среде.

Обучение ИИ пониманию того, как на самом деле работает платформа данных, может перевести его из демо-версии в состав основного стека.