Новое исследование Deloitte «Is your organization’s infrastructure ready for the new hybrid cloud?» выявляет проблемы и перспективы гибридной облачной инфраструктуры в современную эпоху искусственного интеллекта, сообщает портал ITPro Today.

По мере того как организации всех размеров все активнее внедряют ИИ, растут затраты на облачные вычисления, и с этим давлением многие просто не готовы справиться.

Таков один из главных выводов нового опроса Deloitte. Исследование показало, что организации достигают переломных моментов в развитии инфраструктуры гораздо быстрее, чем предполагалось. Полученные данные показывают четкую закономерность: проекты ИИ, начинающиеся как скромные облачные эксперименты, быстро перерастают в инфраструктурные проблемы, с которыми не могут справиться традиционные ИТ-стратегии.

Организации обнаруживают, что та же самая экономика облачных вычислений, которая делала первоначальные эксперименты с ИИ доступными, теперь приводит к возникновению сценариев, приводящих к дефициту бюджета по мере роста рабочих нагрузок. В то же время новые аппаратные инновации, требования к периферийным вычислениям и проблемы суверенитета данных заставляют ИТ-команды полностью пересматривать свои инфраструктурные стратегии.

Основные выводы исследования

Основные выводы исследования Deloitte включают следующее:

  • Точка перегиба стоимости. Затраты на ИИ в публичном облаке становятся запредельными при достижении уровня 60-70% от общих затрат на владение выделенной инфраструктурой.
  • Аппаратное ускорение. Новые процессоры (NPU, TPU), ориентированные на ИИ, и архитектурные инновации значительно повышают показатель производительности на ватт.
  • Рост периферийных вычислений. Приложения ИИ с низкой задержкой и обработка данных на устройствах определяют требования к распределенной инфраструктуре.
  • Инфраструктурный спектр. Организации выбирают между недорогими облачными GPU-блоками (100-500 тыс. долл.) и комплексными решениями для дата-центров (10+ млн. долл.).
  • Трансформация дата-центров. Рабочие нагрузки, связанные с ИИ, требуют фундаментальной перестройки инфраструктуры к 2027 г., включая жидкостное охлаждение и 50 кВт+ на стойку.

По словам Криса Томаса, директора Deloitte Consulting, направление развития рынка говорит само за себя: прогнозируемый рост платформ ИИ на периферии будет почти в шесть раз выше, чем в дата-центрах. «Это подтверждает мою гипотезу о том, что в ближайшие годы периферия будет доступна во многих формах — собственно edge, онпремис и публичное облако», — говорит он.

Edge AI: когда миллисекунды важнее денег

Периферийные вычисления становятся обязательными для приложений ИИ, в которых показатель низкой задержки важнее экономических показателей.

Согласно исследованию Deloitte, переходить к распределенной инфраструктуре рабочие нагрузки ИИ заставляют два ключевых фактора: приложения, требующие сверхнизкой задержки, и устройства со встроенным ИИ, способные обрабатывать задачи локально, без подключения к Интернету.

Для ИТ-команд периферийный ИИ создает новые архитектурные проблемы. Традиционные подходы к централизованному управлению не работают, когда обработка ИИ распределена между тысячами edge-узлов. Организациям нужны подходы к управлению данными, которые позволят получать доступ к определенным наборам данных в случае необходимости, обеспечивая при этом безопасность и соответствие нормативным требованиям в распределенной инфраструктуре.

Сетевые последствия также существенны. Для развертывания периферийных узлов ИИ требуются высокоскоростные межсетевые соединения без потерь, способные поддерживать федеративное обучение в распределенных кластерах GPU. Особенно высоки требования к IOPS (количество операций ввода-вывода в секунду), поскольку системы ИИ нуждаются в быстром извлечении данных из устройств хранения для снабжения ими конвейеров обработки на GPU.

Взрывной рост стоимости ИИ в публичном облаке

Возможно, самой насущной проблемой, с которой сталкиваются ИТ-команды, выявленной в ходе исследования, является резкое увеличение стоимости рабочих нагрузок ИИ в публичном облаке. В отличие от традиционных приложений, где затраты на облако масштабируются почти линейно, рабочие нагрузки ИИ создают экспоненциальные кривые затрат из-за их интенсивных требований к вычислениям и хранению данных.

В исследовании определен конкретный экономический порог, при котором расходы на облако становятся непосильными: когда ежемесячные расходы на облачные вычисления для данной рабочей нагрузки ИИ достигают 60-70% от стоимости приобретения и эксплуатации выделенной инфраструктуры на базе GPU. При дальнейшем росте затрат расчет общей стоимости владения решительно смещается в сторону частной инфраструктуры.

ИТ-команды могут определить эту точку перегиба, отслеживая требования к размещению данных и моделей по отношению к пропускной способности транзакций на GPU. По мере того как все больше команд одновременно выполняют операции вычисления и растут объемы данных, время обработки увеличивается, создавая узкие места в производительности, которые сигнализируют о необходимости инвестиций в выделенную инфраструктуру.

Проблема выходит за рамки чисто экономической. Облачные рабочие нагрузки ИИ часто сталкиваются с дополнительными ограничениями, связанными со скоростью поступления токенов, пропускной способностью сети и требованиями к задержкам, которые могут не совпадать с потребностями критически важных приложений, требующих субмиллисекундного отклика.

Когда переходить от публичного к частному облаку

Определение момента перехода от публичного к частному облаку или какой-либо иной форме локального развертывания имеет решающее значение.

По словам Томаса, на рынке существует множество вариантов гибридного FinOps-инструментария, который при соответствующей настройке среды позволяет выявлять аномалии трендов. Аномалии могут быть вызваны колебаниями в загрузке GPU, стоимости токенов/индексов, процентах простоя и затратах на передачу данных. К локальным факторам относятся существенные изменения в аппаратном обеспечении, энергопотреблении, охлаждении, операциях и т. д. за определенный период времени.

«Я рекомендую анализировать эти наборы данных в разных вариантах, в том числе на уровне организации, подразделения или локации, рабочей нагрузки или портфеля, чтобы принять взвешенное и обоснованное решение», — говорит Томас.

Спектр инвестиций в инфраструктуру

Организации применяют совершенно разные подходы к инвестициям в инфраструктуру ИИ, создавая то, что исследователи называют сценарием CYOA («выбери себе приключение»). Спектр варьируется от стратегий, основанных только на облачных вычислениях, до многомиллионных частных инфраструктурных развертываний.

  • Сторонники облачных технологий. Эта группа придерживается стратегии «только облако», невзирая на масштабирование затрат, часто из-за нежелания рисковать или неуверенности в долгосрочных потребностях ИИ. Однако такой подход может потребовать дополнения периферийными вычислениями или специализированными процессорами для обработки распределенных выводов.
  • Недорогие инвестиции в частную инфраструктуру. Эти системы способны обучать ИИ с количеством параметров до 200 млрд., что достаточно для малых языковых моделей и компактных больших языковых моделей. Такой подход привлекателен для организаций, предъявляющих требования к суверенитету данных или заботящихся об интеллектуальной собственности.
  • Развертывание в масштабах предприятия. Для таких развертываний обычно требуются выделенные дата-центры со специализированной инфраструктурой охлаждения и энергопитания. Этот подход предполагает использование стоечных решений стоимостью в десятки миллионов долларов, предназначенных для организаций, создающих полнофункциональные ИИ-продукты или предлагающих возможности ИИ как сервиса.

«Гибридные среды и управление ими будут существовать еще долгое время, — говорит Томас. — Они обусловлены стоимостью, суверенитетом, безопасностью, масштабируемостью и другими факторами».

Гибридный характер развертываний также может со временем привести к значительной сложности. Томас отмечает, что сложность будет возрастать, если, например, конвейеры данных и моделей будут охватывать облака, онпремис и периферию без общей наблюдаемости или базовых принципов безопасности. Это может приводить к скачкам задержек, неконтролируемым затратам и отсутствию у команд способности достигать поставленных целей.

«Я рекомендую командам платформенных инженеров использовать полномочия как DevOps, так и FinOps, стандартизировать единый инструментарий IaC (инфраструктура как код) или CI/CD, а также использовать оценки на базе метрик для каждой площадки», — советует Томас.