Проекты в области искусственного интеллекта часто замирают после этапа демонстрации. Эндрю Селлерс, руководитель группу технологической стратегии компании Confluent, рассказывает на портале The New Stack о том, почему инфраструктура данных реального времени имеет решающее значение для масштабирования моделей ИИ до производства.

Большинство инженерных команд, с которыми я общаюсь, могут выпустить демонстрацию ИИ. Прототип работает, заинтересованные стороны впечатлены, и все согласны с тем, что у сценария использования есть потенциал. Затем проект заходит в тупик.

Причины могут быть разными, но новые исследования показывают, что часто проблема заключается в трудностях сбора и анализа данных в реальном времени из множества источников. И это усугубляется растущим дефицитом квалифицированных кадров.

Согласно отчету Confluent «2026 Data Streaming Report», агентный ИИ работает в производстве только у 32% организаций. В то же время две трети респондентов назвали инфраструктуру данных и качество данных препятствиями на пути к успеху агентного ИИ. Модели работают в контролируемых условиях, но производство — это совсем другая история.

Почему разрыв между демонстрацией и внедрением в производство так велик?

Демонстрации, как правило, работают, потому что всё вокруг них контролируется. Данные статичны и тщательно отбираются, чтобы точно соответствовать тому, что будет требоваться от модели.

В производственных средах такие возможности не всегда недоступны. Там системам ИИ приходится запрашивать данные, хранящиеся в десятках источников, включая базы данных, потоки событий, журналы приложений и сторонние каналы. Большая часть этих данных плохо управляется, и лишь небольшая их часть предназначена для обработки агентом ИИ в режиме реального времени. Модели, которые выглядели впечатляюще в пилотных проектах, дают ненадежные результаты, потому что работают с устаревшими, неполными или неконтекстуализированными данными.

Инстинктивно хочется настроить модель, но проблема, скорее всего, заключается в данных, которые её питают.

В опросе 72% ИТ-руководителей назвали недостаточную инфраструктуру для обработки данных в режиме реального времени препятствием для масштабирования ИИ, по сравнению с 61% годом ранее. Этот рост говорит о том, что проблема никуда не исчезает, и это становится все более очевидным по мере того, как команды переводят проекты в производство.

Системам ИИ нужны достоверные, контекстуализированные и актуальные данные, а эти свойства трудно гарантировать, когда данные хранятся в изолированных хранилищах, не предназначенных для непрерывного использования. Пакетные конвейеры почти всегда вносят задержки, не имеют формальных контрактов на данные и скрывают происхождение данных. В итоге система ИИ работает с непоследовательным, частичным снимком бизнеса, а не с тем, что происходит на самом деле сейчас.

Проблема с навыками усложняет ситуацию

В отчете выявлена ​​еще одна проблема: 71% ИТ-руководителей назвали нехватку соответствующей экспертизы и навыков препятствием для внедрения ИИ.

Работа по разработке приложений сместилась от кодирования бизнес-логики к созданию информационной среды, где автоматизированные системы могут учиться и обобщать. Создание надежных приложений ИИ требует от разработчиков более высокого уровня знаний в области инженерии данных. Им необходимо понимать распределенные системы, потоковую архитектуру, контроль качества данных и как создавать конвейеры, которые работают в реальных условиях. Им необходимо разбираться в происхождении данных, эволюции схем и в том, что происходит при изменении исходных источников. При этом шаблоны контроля качества, работающие для детерминированного ПО — где одни и те же входные данные дают одинаковые выходные — не применимы к вероятностным системам.

Большинство разработчиков раньше не сталкивались с подобным мышлением. Дисциплина обеспечения доставки правильных данных в правильную систему в нужное время, управляемым и многократно используемым способом, перестала быть узкоспециализированной задачей и стала обязательным требованием для всех, кто разрабатывает производственный ИИ.

Это влияет на то, как организации должны подходить к преодолению разрыва между демонстрацией и производством. Инвестиции в навыки инженерии данных должны соответствовать инвестициям в сам ИИ.

Что на самом деле требуется для готового к производству ИИ

Организации, которые успешно выходят за рамки пилотного проекта, с самого начала рассматривают инфраструктуру данных как первостепенную задачу. Это означает создание конвейеров обработки данных в реальном времени, а не пакетной обработки. Это означает применение определений схем, метаданных о принадлежности и проверок качества в точке производства данных, а не в озере данных. Это означает структурирование данных в виде многократно используемых продуктов, на основе которых могут строиться различные команды и приложения, так что инженерная работа, поддерживающая одно приложение ИИ, может ускорить разработку следующего, вместо того чтобы начинать с нуля.

Согласно отчету, 88% ИТ-руководителей заявили, что платформы потоковой передачи данных помогают решать проблемы инфраструктуры и качества данных для агентного ИИ. Это связано с тем, что они устраняют конкретные причины, по которым проекты ИИ заходят в тупик — доставка данных в реальном времени, управление исходными данными и обеспечение достаточной достоверности данных для использования во время инференса.

Этот сдвиг уже происходит

В исследовании впервые было установлено, что инвестиции в потоковую передачу данных превзошли инвестиции в ИИ и машинное обучение: 88% против 82%. Организации, которые пытались внедрить ИИ в производство, все чаще признают, что модель — не самая сложная часть.

Поэтому, если вы застряли на этапе пилотного проекта, не поддавайтесь желанию продолжать оптимизировать модель. Лучше задаться вопросами, являются ли данные, поступающие в модель, актуальными, точными и хорошо управляемыми и были ли ваши конвейеры действительно созданы для производственного ИИ или только для демонстрации, которая должна была сработать только один раз.