По мере масштабирования внедрения искусственного интеллекта предприятия непреднамеренно усугубляют существующий кризис данных. Возникающий в результате этого всплеск телеметрии перегружает инфраструктуру, уже испытывающую нагрузку из-за перехода к мультиоблачным средам, современным приложениям и IoT, что приводит к росту затрат. Организации платят за сбор, хранение и обработку огромных массивов данных, которые часто не приносят существенной пользы для бизнеса, пишет на портале BigDataWire Майк Келли, основатель и генеральный директор Bindplane.

Это давление ощущают 66% предприятий, которые регулярно сталкиваются с непредвиденными расходами или перерасходами, связанными с инструментами наблюдаемости, и 95% предприятий активно предпринимают шаги по снижению затрат на наблюдаемость. Но сокращение расходов — это только половина дела; предприятиям также необходимо перемещать данные как никогда раньше.

Современные приложения требуют постоянного потока данных для корректной работы. Системы должны взаимодействовать друг с другом в режиме реального времени, что генерирует терабайты трафика каждый день. Сейчас ИИ и машинное обучение полностью меняют подход предприятий к управлению этими потоками, требуя бесперебойного и мгновенного перемещения информации между различными облаками, аналитическими инструментами и ИИ-фреймворками.

Эпоха слепой оплаты за неуправляемые данные закончилась. Стремясь максимизировать ценность конвейеров данных без перерасхода средств, предприятия переходят на OpenTelemetry, чтобы вернуть контроль.

Скрытый «налог на наблюдаемость»

Чтобы предприятия смогли сэкономить свой бюджет, им необходимо сначала решить проблему неэффективности — скрытый «налог на наблюдаемость», с которым сталкиваются многие команды DevOps. Каждая организация, по сути, перестраивает один и тот же конвейер с нуля, и когда конфигурации не стандартизированы, инженеры не учатся друг у друга; они фактически повторяют одни и те же процессы проб и ошибок тысячи раз.

Это дублирование усилий приводит к пустой трате времени и ресурсов. Часто требуются недели, чтобы вручную настроить сборщики, обработчики и экспортеры, плюс бесчисленные часы на отладку проблем с подключением. Эта сложная задача уже решена тысячами других организаций, но многие команды остаются в неведении о том, что оптимальные настройки для их рабочей нагрузки уже были отработаны в других областях.

Хотя некоторые предприятия могут выбирать проприетарных поставщиков для решения этой проблемы, сторонние решения только усугубляют ситуацию. Эти инструменты обещают лучшее управление данными и снижение затрат на хранение, но возникающая в результате зависимость от поставщика часто создает дополнительные долгосрочные проблемы. Когда объем данных превышает возможности решения проприетарного поставщика, переход на новые платформы становится сложным и дорогостоящим. Поэтому, когда бизнесу необходимо перейти на новую платформу, он часто оказывается ограничен существующими отношениями с поставщиками, не имея возможности изменить подход без существенной переработки своего конвейера данных.

Последствия избыточности

Неэффективная работа с огромными объемами данных также может привести к увеличению затрат организаций, усугубляя именно ту проблему, которую они хотят решить. Организации часто используют несколько инструментов и агентов для сбора данных, что требует специальных знаний в области распределенных систем, таких как инжиниринг данных, безопасность и машинное обучение. Управление этими системами как изолированными создает дополнительную нагрузку на ресурсы и часто приводит к необходимости увеличения штата или проведения специализированного обучения, что влечет за собой финансовые затраты и временные ограничения.

Если инженеры данных застряли в цикле проб и ошибок при управлении огромными массивами телеметрии, то организации оказываются перегруженными информацией и задачами вместо того, чтобы целенаправленно и активно управлять своими данными. В мире, где ИИ требует немедленного доступа к огромным объемам данных, эта негибкость становится фатальным конкурентным недостатком. Если предприятия хотят преуспеть в мире, управляемом ИИ, их инфраструктура данных должна быть способна обеспечивать высокую скорость передачи данных без ущерба для экономической эффективности.

Выявление и смягчение этих скрытых проблем и затрат имеет решающее значение, если предприятия хотят превратить свои данные в актив, а не в пассив.

Возвращение контроля над бюджетом с помощью OpenTelemetry

Предприятия, стремящиеся максимизировать ценность своих данных, переходят на Open Source-платформы, такие как OpenTelemetry (OTel). Создавая конвейеры обработки данных на основе OTel, предприятия могут обеспечить их гибкость и независимость от поставщиков, что позволяет им мгновенно адаптироваться к меняющимся потребностям бизнеса.

OTel — это стандартизированная платформа, упрощающая сбор и обработку телеметрических данных с использованием различных языков программирования и операционных систем. Устраняя необходимость во множестве проприетарных инструментов, OTel снижает сложность и операционные затраты на управление телеметрией в масштабе предприятия.

OTel также объединяет опыт ведущих инженеров по данным из крупнейших мировых организаций для решения основных операционных задач, предоставляя предприятиям доступ к единой платформе, созданной и усовершенствованной лучшими специалистами отрасли. Благодаря стандартизированному подходу, OTel сокращает время обучения и количество проб и ошибок при внедрении конвейеров, по сути, исключая дублирование работы. Кроме того, в эту платформу постоянно внедряются обновления, улучшающие соответствие нормативным требованиям и безопасность. OTel, поддерживаемая глобальным сообществом, постоянно развивается, чтобы решать повседневные задачи, с которыми сталкиваются CIO и инженерные команды при обеспечении устойчивости своей инфраструктуры данных.

Благодаря такому подходу предприятия могут получать более качественные инсайты экономически эффективным способом. В конечном итоге, однако, настоящая сила заключается в адаптивности OTel, позволяющей предприятиям постоянно совершенствоваться.

Для успешного построения конвейеров обработки данных на OpenTelemetry предприятиям следует внедрить следующие три практики:

  • Сборщик OTel. При создании конвейера телеметрии предприятиям необходимо настроить совместимый с OpenTelemetry сборщик в качестве основного блока обработки. Этот сборщик объединяет данные из разных источников, вносит в них изменения и отправляет их в нужные места. Преобразуя и обогащая данные внутри конвейера, системы организаций становятся более интероперабельными и гибкими.
  • Централизованное управление. Оно объединяет все агенты телеметрии и настройки в одном месте, предоставляя организациям больший контроль над настройкой наблюдаемости, одновременно оптимизируя операции и снижая затраты на управление разрозненными системами телеметрии. Это также помогает организациям быстро находить и устранять проблемы, сокращая объем работы по обслуживанию конвейеров и снижая вероятность ошибок при настройке. OpenTelemetry поддерживает централизованное управление с использованием таких протоколов, как OpAmp, что позволяет удаленно настраивать и отслеживать агенты телеметрии.
  • Фильтрация данных. Для организаций крайне важно использовать инструменты, предлагаемые в рамках платформы OTel, которые выборочно фильтруют данные и направляют данные меньшей ценности в недорогое хранилище. Это снижает затраты на хранение и обработку, одновременно улучшая видимость критически важных данных, делая анализ быстрее и эффективнее.

Устранение «налога на наблюдаемость» с помощью более интеллектуальных конвейеров

Перевод конвейеров данных на OTel позволяет предприятиям не только сократить затраты и ускорить обработку данные, но и более эффективно использовать собираемую телеметрию.

В сложных ИТ-средах, где быстро развивается ИИ, организации должны иметь возможность корректировать свою инфраструктуру данных в режиме реального времени по мере изменения потребностей, без традиционной ручной очистки. Упрощение процесса сбора с помощью OTel улучшает распределение данных и обеспечивает гибкость для адаптации к меняющимся потребностям, позволяя организациям обеспечить устойчивость своей системы наблюдаемости в будущем для повышения операционной отказоустойчивости.

Когда организации возвращают себе полный контроль над своими конвейерами данных, они могут получить конкурентное преимущество. Переход к Open Source-платформе, управляемой сообществом, гарантирует, что предприятия смогут избавиться от привязки к поставщику и получить основу для масштабирования и внедрения новых технологий, таких как ИИ, без дорогостоящих переделок или перегрузки команд DevOps телеметрическим шумом.