Фактом использования искусственного интеллекта в корпоративном секторе сегодня никого не удивишь. Языковые модели помогают сотрудникам быстрее находить информацию, анализировать документы и в конечном счете сокращают затраты времени на рутинные операции. Это повышает производительность отдельных команд и бизнеса в целом. Но для полноценного использования AI недостаточно выбрать подходящую модель и обеспечить ее вычислительными ресурсами. Необходимо также решить, где будут обрабатываться корпоративные данные и кто будет контролировать доступ к ним.
Сведения о клиентах и контрактах, техническая документация и внутренние базы знаний могут содержать информацию, которую нельзя передавать за пределы организации. Для многих компаний принципиально важно развернуть AI в закрытом контуре, сохранив контроль над данными и условиями их обработки.
В последнее время актуализировался еще один фактор — физическая безопасность IT-инфраструктуры. Инциденты на площадках российских дата-центров показали, что серьезное внешнее воздействие может привести к масштабным нарушениям работы оборудования и сервисов. В таких обстоятельствах сроки восстановления инфраструктуры могут оказаться неопределенными, а последствия для бизнеса — выходить далеко за пределы самого дата-центра.
Все это усиливает интерес к собственным вычислительным решениям, которые позволяют разместить AI-систему внутри корпоративного контура и самостоятельно определять условия доступа к данным и оборудованию. При этом аренда вычислительных мощностей и размещение серверов в коммерческих дата-центрах остаются востребованными вариантами: они позволяют быстро стартовать с проектами корпоративного ИИ и избегать крупных первоначальных вложений.
В этой статье разберем, как требования к корпоративному ИИ влияют на выбор локальной вычислительной инфраструктуры, сколько могут стоить разные варианты конфигурации и почему наиболее дорогой сервер не всегда оказывается наиболее рациональным решением для бизнеса.
Нейронка, чтобы что?
«Сколько будет стоить сервер с нужной конфигурацией под ИИ?» Этот вопрос интересует практически каждую организацию на первых минутах обсуждения подобных проектов. Будем реалистами: универсального правильного ответа не существует. Чтобы понять, сколько и какого оборудования потребуется для корпоративного AI, сначала нужно определить, что именно этот AI должен делать.
Например, производственная компания может использовать AI для самых разных задач: превратить массив внутренних документов в единый источник знаний для сотрудников, ускорить поиск технической информации, автоматизировать обработку заявок и документов, улучшить аналитику и поддержку управленческих решений. AI также может участвовать во взаимодействии с клиентами: например, отвечать на типовые обращения по электронной почте и в чате на сайте, вовлекаться в процедуры обработки заказов. В конечном счете цель внедрения заключается в измеримом результате: экономии рабочего времени, повышении производительности, снижении операционных затрат и более эффективном использовании ресурсов компании.
Ни 500 тыс. документов, ни 100 сотрудников сами по себе не определяют конфигурацию AI-сервера. Чтобы понять, какая инфраструктура потребуется, сначала необходимо разобраться, какие задачи будет решать система и как сотрудники будут с ней работать.
Реальная ситуация: организация задумалась над созданием AI-интерфейса к корпоративным знаниям. Задача была сформулирована руководителем очень просто: «Хочу, чтобы все мои сотрудники в рамках своих предметных областей могли задавать вопрос нейросети и получать от ИИ ответы на эти вопросы со ссылками на конкретные документы и даже на участки текста». Такой подход называется RAG (Retrieval-Augmented Generation), или генерация с дополнением извлеченной информацией. Он хорош тем, что не требует обучать языковую модель с нуля.
Теперь можно определить предполагаемый профиль нагрузки. AI-системой потенциально пользуются все 100 сотрудников, но одновременно с ней работают не более 30 человек. В периоды пиковой нагрузки система должна обрабатывать до 10 запросов в минуту.
Такие параметры существенно приближают нас к требованиям к инфраструктуре. Но для выбора оборудования их все-таки маловато. Важно понимать, какую вычислительную работу выполняет модель при каждом запросе, сколько информации получает на вход и насколько быстро должна формировать ответ.
Здесь появляются три связанных параметра:
- время обработки отдельного запроса;
- объем работы, который система способна выполнять за единицу времени;
- количество одновременно обрабатываемых запросов.
Чем больше запросов система обрабатывает параллельно, тем выше потенциальная пропускная способность, но тем сильнее вычислительные ресурсы распределяются между запросами и тем больше времени может потребоваться на обработку каждого из них. Поэтому сервер должен обеспечивать не просто высокую производительность, а нужный баланс между скоростью ответа и количеством одновременно обслуживаемых пользователей.
Если расчет нагрузки оказался неверным, пользователь довольно быстро заметит проблему: ответы станут медленнее, а система хуже начнет справляться с запросами. При этом симптомы могут быть одинаковыми, хотя причины различаются. Одной конфигурации может не хватать вычислительной мощности, другой — видеопамяти для параллельных сессий. Именно поэтому серверную конфигурацию нужно подбирать под конкретную нагрузку: размер модели, число одновременных пользователей и требования к скорости ответа. Рассмотрим, как эти требования влияют на выбор оборудования и его стоимость.
От требований к конфигурации
Всегда следует разделять минимальную и рабочую конфигурации.
Минимальная конфигурация — набор оборудования, на котором выбранная большая языковая модель технически запускается и способна обслуживать клиентские запросы. В первую очередь здесь нужно обеспечить достаточный объем видеопамяти для размещения модели, ее рабочего контекста и служебных данных. Затем — достаточную вычислительную производительность графического процессора, чтобы система могла формировать ответы с приемлемой скоростью. К этому добавляются центральный процессор, оперативная память и быстрые NVMe-накопители для работы RAG, хранения индексов и корпоративных данных.
Такая конфигурация может работать вполне убедительно на тестовом стенде. Один пользователь задает вопрос, получает ответ за несколько секунд. Но есть нюанс. AI в условиях корпоративного применения совершенно точно обслуживает не только единственного пользователя. В течение рабочего дня нагрузка будет меняться: большую часть времени система может быть загружена умеренно, но в отдельные моменты десятки сотрудников одновременно отправят запросы.
Если минимальная конфигурация рассчитана практически без запаса, при росте числа одновременных запросов начнут увеличиваться очереди и расти время обработки отдельного запроса. Система формально продолжит работать, но пользователи будут ждать ответа дольше, а пропускная способность всей системы окажется ниже расчетной. Поэтому рабочая конфигурация должна учитывать не только возможность запуска модели, но и реальную эксплуатационную нагрузку.
Такая нагрузка может потребовать больше доступной видеопамяти, более производительного графического процессора или увеличения количества видеокарт. Может потребоваться больше оперативной памяти, более быстрые накопители или изменение архитектуры сервера. В зависимости от выбранной модели и режима работы несколько GPU могут использоваться совместно, что предъявляет дополнительные требования к их соединению и к платформе в целом.
Таким образом, между конфигурациями существует принципиальная разница. Минимальная конфигурация покажет нижнюю границу инвестиций. Рабочая — сколько действительно потребуется потратить, чтобы обеспечить заданную скорость ответа и необходимое количество одновременных пользователей. Таким образом, выбор конфигурации — это поиск баланса между первоначальными инвестициями, эксплуатационными расходами и требуемой производительностью. Рассмотрим, как эти требования влияют на выбор оборудования и стоимость локального решения.
Считаем деньги
Чтобы сравнение было предметным, вернемся к сценарию, который мы уже упоминали. Организация хочет развернуть языковую модель среднего размера, подключить к ней корпоративные документы через RAG и обеспечить одновременную работу примерно 30 пользователей.
Для такого проекта система должна одновременно обрабатывать запросы, удерживать контекст пользовательских сессий и обеспечивать приемлемое время ответа. Именно здесь возникает основной вопрос при выборе оборудования: сколько вычислительных ресурсов потребуется для полноценной работы, а не только для запуска модели?
Рассмотрим три конфигурации. Дальнейшее сравнение покажет: самый подходящий для применения вариант оказался далеко не самым дорогим.
Минимальная конфигурация: 5,1 млн. рублей. В основе системы — один ускоритель NVIDIA L40S с 48 Гб видеопамяти. Его дополняют серверный процессор, оперативная память DDR5 ECC, корпоративный NVMe-накопитель и платформа с необходимым запасом по питанию и охлаждению. Этого достаточно, чтобы развернуть модель и обеспечить работу RAG-системы. Но минимальная конфигурация не рассчитана на комфортную одновременную работу 30 пользователей в рассматриваемом сценарии. Видеопамять помимо размещения самой модели нужна для хранения контекста активных сессий. По мере роста числа параллельных запросов система может упереться в доступный объем VRAM, что приведет к снижению пропускной способности и увеличению времени ответа.
Рабочая конфигурация: 7,25 млн. рублей. Следующий вариант предусматривает два ускорителя NVIDIA L40S по 48 Гб каждый, то есть суммарно 96 Гб видеопамяти. Дополнительные ресурсы позволяют разместить модель и обслуживать больше параллельных запросов, а более производительная серверная платформа обеспечивает необходимый запас по питанию и охлаждению. Однако увеличение числа GPU не всегда дает пропорциональный рост производительности. При распределении вычислений между двумя ускорителями обмен данными между ними может стать дополнительным ограничением. У NVIDIA L40S нет NVLink, поэтому межкарточный обмен осуществляется через PCIe. Насколько существенно это повлияет на время ответа, зависит от модели и характера нагрузки.
Оптимизированная конфигурация: 6,5 млн. рублей. В рассматриваемом проекте организация пошла другим путем: вместо двух L40S используется один ускоритель NVIDIA RTX 6000 Blackwell с 96 Гб видеопамяти GDDR7. Такой подход позволяет разместить модель и контекст пользовательских сессий в памяти одного GPU, не распределяя вычисления между двумя отдельными ускорителями. При подходящем программном стеке это устраняет необходимость межкарточного обмена через PCIe и упрощает организацию вычислений.
При этом стоимость готового сервера с многоканальной оперативной памятью DDR5 ECC составляет около 6,5 млн. рублей. Это на 750 тыс. рублей меньше стоимости конфигурации с двумя L40S. То есть экономия составляет примерно 10%.
Получается, более эффективный подбор оборудования способен дать лучший баланс стоимости и вычислительных возможностей, чем простое наращивание количества ускорителей.
Что важно учитывать при расчетах
Указанные суммы — всего лишь ориентиры для конкретных конфигураций. Финальная цена зависит от стоимости высокопроизводительных компонентов. А на них, в свою очередь, влияют курсы валют, стоимость логистики, доступность оборудования и условия гарантии.
Не менее важны характеристики самой нагрузки. Результат будет различаться в зависимости от выбранной языковой модели, длины контекста, режима квантования и требований к скорости ответа. Поэтому возможность запустить модель на сервере еще не означает, что он сможет обеспечить требуемую производительность при 30 одновременных запросах.
Именно поэтому конфигурацию следует подбирать не только по цене и объему видеопамяти, но и по целевым показателям системы: времени ответа, пропускной способности и числу одновременно обслуживаемых пользователей.
Есть эффект?
Цена сама по себе ничего не скажет об успешности проекта. Поэтому организация, как правило, переводит вопрос эффективности в более прикладную плоскость: какой экономический смысл это ей дает?
Около 30 сотрудников обеспечивают примерно 70% запросов к корпоративному ИИ. Для предварительной оценки организация рассмотрела один из базовых сценариев применения AI — поиск и сопоставление информации. Если каждый из этих сотрудников тратит на такие задачи около 30 минут в день, суммарные затраты составляют 15 человеко-часов ежедневно. Это потенциальная область для повышения эффективности, но фактический результат будет зависеть от того, какую часть этих операций удастся ускорить с помощью AI.
Однако поиск информации — лишь один из возможных сценариев применения корпоративного AI. Дополнительный эффект может возникать за счет автоматизации обработки документов и заявок, ускорения аналитики, работы с клиентскими обращениями и оптимизации других бизнес-процессов. Поэтому оценивать экономический потенциал внедрения только по времени, сэкономленному на поиске документов, было бы некорректно: совокупный результат зависит от количества сценариев, в которых AI действительно повышает производительность.
Организация ориентируется на улучшение отдельных показателей производительности в диапазоне
Мы рассмотрели несколько исследований, в которых влияние генеративного ИИ измерялось непосредственно в рабочей среде. В одном из наиболее известных исследований NBER анализировалась работа более 5 тыс. сотрудников службы поддержки. Доступ к AI-ассистенту увеличил количество решенных обращений в час в среднем на 15%. При этом эффект оказался неодинаковым: менее опытные сотрудники заметно повысили производительность, тогда как у наиболее опытных прирост был небольшим.
Другой крупный эксперимент провела Microsoft. Участники выполняли набор задач, включавший поиск информации по нескольким источникам, создание текста и подготовку материалов. Пользователи Copilot справлялись со всем набором задач на 29% быстрее. В отдельном эксперименте поиск информации по нескольким источникам занимал в среднем 24 минуты без AI и около 18 минут с AI — экономия составляла примерно 6 минут на одну операцию.
Результаты исследований позволяют рассматривать диапазон
Заключение
Экономический эффект от внедрения AI не всегда выражается в прямом сокращении расходов. Высвободившееся время сотрудников можно направить на выполнение большего объема работы, сокращение сроков, повышение качества обслуживания или решение более сложных задач. Таким образом, AI создает возможности для повышения производительности без обязательного сокращения численности персонала.
Первый успешный сценарий внедрения — отправная точка для дальнейшего применения AI в организации. Получив практический опыт, компания может выявлять новые задачи, в которых AI способен дать измеримый результат. Последующие этапы внедрения могут потребовать меньше времени на подготовку. Компания уже понимает, как оценивать бизнес-задачи, определять профиль вычислительной нагрузки и подбирать модели и инфраструктуру. Кроме того, у нее есть опыт эксплуатации собственного вычислительного узла. Это позволяет опираться на уже созданную техническую основу, хотя расширение числа сценариев может потребовать дополнительных вычислительных ресурсов.
Чем больше бизнес-процессов компания успешно охватывает с помощью AI, тем выше потенциальный совокупный экономический эффект. Для холдинга масштабирование успешных решений на другие подразделения открывает дополнительные возможности, однако результат тем убедительнее, чем глубже AI интегрирован в рабочие процессы. В этой точке возникает новый вызов — как организации наилучшим образом использовать высвободившиеся ресурсы. Но это, как говорится, совсем другая история.
