Новое исследование Deloitte «Is your organization’s infrastructure ready for the new hybrid cloud?» выявляет проблемы и перспективы гибридной облачной инфраструктуры в современную эпоху искусственного интеллекта, сообщает портал ITPro Today.
По мере того как организации всех размеров все активнее внедряют ИИ, растут затраты на облачные вычисления, и с этим давлением многие просто не готовы справиться.
Таков один из главных выводов нового опроса Deloitte. Исследование показало, что организации достигают переломных моментов в развитии инфраструктуры гораздо быстрее, чем предполагалось. Полученные данные показывают четкую закономерность: проекты ИИ, начинающиеся как скромные облачные эксперименты, быстро перерастают в инфраструктурные проблемы, с которыми не могут справиться традиционные ИТ-стратегии.
Организации обнаруживают, что та же самая экономика облачных вычислений, которая делала первоначальные эксперименты с ИИ доступными, теперь приводит к возникновению сценариев, приводящих к дефициту бюджета по мере роста рабочих нагрузок. В то же время новые аппаратные инновации, требования к периферийным вычислениям и проблемы суверенитета данных заставляют ИТ-команды полностью пересматривать свои инфраструктурные стратегии.
Основные выводы исследования
Основные выводы исследования Deloitte включают следующее:
- Точка перегиба стоимости. Затраты на ИИ в публичном облаке становятся запредельными при достижении уровня
60-70% от общих затрат на владение выделенной инфраструктурой. - Аппаратное ускорение. Новые процессоры (NPU, TPU), ориентированные на ИИ, и архитектурные инновации значительно повышают показатель производительности на ватт.
- Рост периферийных вычислений. Приложения ИИ с низкой задержкой и обработка данных на устройствах определяют требования к распределенной инфраструктуре.
- Инфраструктурный спектр. Организации выбирают между недорогими облачными GPU-блоками
(100-500 тыс. долл.) и комплексными решениями для дата-центров (10+ млн. долл.). - Трансформация дата-центров. Рабочие нагрузки, связанные с ИИ, требуют фундаментальной перестройки инфраструктуры к 2027 г., включая жидкостное охлаждение и 50 кВт+ на стойку.
По словам Криса Томаса, директора Deloitte Consulting, направление развития рынка говорит само за себя: прогнозируемый рост платформ ИИ на периферии будет почти в шесть раз выше, чем в дата-центрах. «Это подтверждает мою гипотезу о том, что в ближайшие годы периферия будет доступна во многих формах — собственно edge, онпремис и публичное облако», — говорит он.
Edge AI: когда миллисекунды важнее денег
Периферийные вычисления становятся обязательными для приложений ИИ, в которых показатель низкой задержки важнее экономических показателей.
Согласно исследованию Deloitte, переходить к распределенной инфраструктуре рабочие нагрузки ИИ заставляют два ключевых фактора: приложения, требующие сверхнизкой задержки, и устройства со встроенным ИИ, способные обрабатывать задачи локально, без подключения к Интернету.
Для ИТ-команд периферийный ИИ создает новые архитектурные проблемы. Традиционные подходы к централизованному управлению не работают, когда обработка ИИ распределена между тысячами edge-узлов. Организациям нужны подходы к управлению данными, которые позволят получать доступ к определенным наборам данных в случае необходимости, обеспечивая при этом безопасность и соответствие нормативным требованиям в распределенной инфраструктуре.
Сетевые последствия также существенны. Для развертывания периферийных узлов ИИ требуются высокоскоростные межсетевые соединения без потерь, способные поддерживать федеративное обучение в распределенных кластерах GPU. Особенно высоки требования к IOPS (количество операций ввода-вывода в секунду), поскольку системы ИИ нуждаются в быстром извлечении данных из устройств хранения для снабжения ими конвейеров обработки на GPU.
Взрывной рост стоимости ИИ в публичном облаке
Возможно, самой насущной проблемой, с которой сталкиваются ИТ-команды, выявленной в ходе исследования, является резкое увеличение стоимости рабочих нагрузок ИИ в публичном облаке. В отличие от традиционных приложений, где затраты на облако масштабируются почти линейно, рабочие нагрузки ИИ создают экспоненциальные кривые затрат из-за их интенсивных требований к вычислениям и хранению данных.
В исследовании определен конкретный экономический порог, при котором расходы на облако становятся непосильными: когда ежемесячные расходы на облачные вычисления для данной рабочей нагрузки ИИ достигают
ИТ-команды могут определить эту точку перегиба, отслеживая требования к размещению данных и моделей по отношению к пропускной способности транзакций на GPU. По мере того как все больше команд одновременно выполняют операции вычисления и растут объемы данных, время обработки увеличивается, создавая узкие места в производительности, которые сигнализируют о необходимости инвестиций в выделенную инфраструктуру.
Проблема выходит за рамки чисто экономической. Облачные рабочие нагрузки ИИ часто сталкиваются с дополнительными ограничениями, связанными со скоростью поступления токенов, пропускной способностью сети и требованиями к задержкам, которые могут не совпадать с потребностями критически важных приложений, требующих субмиллисекундного отклика.
Когда переходить от публичного к частному облаку
Определение момента перехода от публичного к частному облаку или какой-либо иной форме локального развертывания имеет решающее значение.
По словам Томаса, на рынке существует множество вариантов гибридного FinOps-инструментария, который при соответствующей настройке среды позволяет выявлять аномалии трендов. Аномалии могут быть вызваны колебаниями в загрузке GPU, стоимости токенов/индексов, процентах простоя и затратах на передачу данных. К локальным факторам относятся существенные изменения в аппаратном обеспечении, энергопотреблении, охлаждении, операциях и т. д. за определенный период времени.
«Я рекомендую анализировать эти наборы данных в разных вариантах, в том числе на уровне организации, подразделения или локации, рабочей нагрузки или портфеля, чтобы принять взвешенное и обоснованное решение», — говорит Томас.
Спектр инвестиций в инфраструктуру
Организации применяют совершенно разные подходы к инвестициям в инфраструктуру ИИ, создавая то, что исследователи называют сценарием CYOA («выбери себе приключение»). Спектр варьируется от стратегий, основанных только на облачных вычислениях, до многомиллионных частных инфраструктурных развертываний.
- Сторонники облачных технологий. Эта группа придерживается стратегии «только облако», невзирая на масштабирование затрат, часто из-за нежелания рисковать или неуверенности в долгосрочных потребностях ИИ. Однако такой подход может потребовать дополнения периферийными вычислениями или специализированными процессорами для обработки распределенных выводов.
- Недорогие инвестиции в частную инфраструктуру. Эти системы способны обучать ИИ с количеством параметров до 200 млрд., что достаточно для малых языковых моделей и компактных больших языковых моделей. Такой подход привлекателен для организаций, предъявляющих требования к суверенитету данных или заботящихся об интеллектуальной собственности.
- Развертывание в масштабах предприятия. Для таких развертываний обычно требуются выделенные дата-центры со специализированной инфраструктурой охлаждения и энергопитания. Этот подход предполагает использование стоечных решений стоимостью в десятки миллионов долларов, предназначенных для организаций, создающих полнофункциональные ИИ-продукты или предлагающих возможности ИИ как сервиса.
«Гибридные среды и управление ими будут существовать еще долгое время, — говорит Томас. — Они обусловлены стоимостью, суверенитетом, безопасностью, масштабируемостью и другими факторами».
Гибридный характер развертываний также может со временем привести к значительной сложности. Томас отмечает, что сложность будет возрастать, если, например, конвейеры данных и моделей будут охватывать облака, онпремис и периферию без общей наблюдаемости или базовых принципов безопасности. Это может приводить к скачкам задержек, неконтролируемым затратам и отсутствию у команд способности достигать поставленных целей.
«Я рекомендую командам платформенных инженеров использовать полномочия как DevOps, так и FinOps, стандартизировать единый инструментарий IaC (инфраструктура как код) или CI/CD, а также использовать оценки на базе метрик для каждой площадки», — советует Томас.
