От того, как ваш бизнес подходит к инфраструктуре данных, зависит, будет ли он развиваться вместе со следующими этапами развития искусственного интеллекта или останется в прошлом, пишет на портале The New Stack Бхарти Патель, старший вице-президент, руководитель инженерного отдела Hitachi Vantara.

Семь лет назад восемь исследователей Google вывели ИИ на новый этап эволюции, представив архитектуру Transformer — инновационную нейронную сеть, которая сделала возможным создание современных больших языковых моделей (LLM) и построенных на их основе приложений генеративного ИИ. Эта работа основана на достижениях многих исследователей, в том числе таких гигантов в области ИИ, как лауреат премии Тьюринга Джеффри Хинтон и живая легенда Фей-Фей Ли, получивший признание за то, что настаивал на центральной роли больших данных в раскрытии возможностей ИИ. В то время как исследования гиперскейлеров и ученых остаются такими же динамичными, как и прежде, другим очагом инноваций в области ИИ-моделей сегодня являются сами предприятия крупного бизнеса.

Корпорации всех вертикалей грамотно оценили этот переломный момент в истории ИИ, воспользовавшись им, чтобы усовершенствовать LLM новыми изобретательными способами и создать с их помощью новые виды ценности. Но пока эта ценность в значительной степени не реализована.

Чтобы в полной мере воспользоваться преимуществами LLM прямо сейчас, в середине 2024 г., корпоративным инноваторам сначала придется задуматься о множестве переменных. Наличие правильной технологии под капотом и ее настройка в соответствии с уникальными потребностями предприятия поможет обеспечить надежные результаты работы приложений генеративного ИИ и их реальную ценность.

Наборы данных, модели и инструменты

Данные, безусловно, являются топливом для ИИ, и огромные общедоступные базы данных подпитывают возможности LLM. Но эти общедоступные базы могут не содержать нужных данных для решения задач, которые ставит перед собой предприятие-новатор. Галлюцинации и предвзятость, порожденные ими, также конфликтуют с контролем качества, который требуется предприятиям. Происхождение, прослеживаемость, объяснимость, надежность и безопасность данных — все это имеет большое значение для корпоративных пользователей. Они должны ответственно подходить к использованию данных, иначе им грозят дорогостоящие судебные иски, проблемы с репутацией, нанесением вреда клиентам и ущербом их продуктам и решениям. Это означает, что они должны определить, какие внутренние собственные наборы данных должны использоваться при настройке моделей и разработке приложений, где эти наборы должны храниться и как лучше всего их очистить и подготовить для использования в моделях.

LLM, о которых мы слышали больше всего, считаются базовыми моделями — это созданные OpenAI, Google и другими компаниями модели, которые обучаются на огромных объемах интернет-данных — как высококачественных, так и настолько плохих, что считаются дезинформацией. Базовые модели строятся с учетом массивного параллелизма, могут быть адаптированы к самым разным сценариям и требуют значительных защитных ограждений. Популярной отправной точкой для многих предприятий является Llama 2, семейство предварительно обученных и тонко настроенных LLM, варьирующихся в масштабе от 7 до 70 млрд. параметров. Их можно настраивать с помощью уникальных внутренних наборов данных и сочетать с возможностями графов знаний, векторных баз данных, SQL для структурированных данных и т. д.

К счастью, в сообществе Open Source-разработчиков ведется активная работа по созданию новых оптимизированных LLM. Это сообщество также предлагает очень полезные инструменты, которые служат соединительной тканью для экосистем генеративного ИИ. Например, LangChain — это фреймворк, упрощающий создание приложений на основе ИИ, с открытой библиотекой Python, специально разработанной для оптимизации использования LLM. Кроме того, Open Platform for Enterprise AI (OPEA), проект Linux Foundation, разрабатывает открытые стандарты для генерации с расширенным поиском (RAG), что крайне важно для включения корпоративных данных в предварительно обученные LLM и уменьшения галлюцинаций. Корпоративные разработчики могут получать доступ ко многим инструментам с помощью API, что является сменой парадигмы, способствующей демократизации разработки ИИ.

Хотя в некоторых корпорациях есть чисто исследовательские подразделения, которые могут заниматься разработкой новых алгоритмов и LLM, большинство из них не собираются изобретать велосипед. Тонкая настройка существующих моделей и использование растущей экосистемы инструментов станут самым быстрым путем к получению ценности.

Супервычисления и эластичная плоскость данных

Современная эра ИИ и, в частности, бум генеративного ИИ привели к значительному росту использования вычислений и развитию технологий графических процессоров (GPU). Это связано со сложностью и огромным количеством вычислений, которые требуют обучение и получение выводов ИИ, хотя существуют различия в том, как эти процессы потребляют вычисления. Здесь нельзя не упомянуть о графических процессорах Nvidia, которые занимают около 90% рынка чипов для ИИ и, вероятно, продолжат доминировать благодаря недавно анонсированному и невероятно мощному суперчипу GB200 Grace Blackwell, с помощью которого можно в режиме реального времени делать выводы и проводить обучение по триллионам параметров.

Сочетание правильных наборов данных, точно настроенных LLM и надежной экосистемы инструментов, а также мощных вычислительных машин является ключевым фактором, обеспечивающим инновации в области корпоративного ИИ. Но технологической основой, придающей всему этому форму, является инфраструктура данных — системы хранения и управления, способные объединить экосистему данных. Инфраструктура данных, ставшая основой облачных вычислений, теперь также является основой для существования и развития ИИ.

Современным LLM требуются невиданные ранее объемы и разнообразие данных и скорость доступа к ним, и это создает сложности. Такие данные, которые требуются LLM, невозможно хранить в кэш-памяти. Необходимым субстратом для LLM, которым требуются миллионы узлов, являются системы хранения с высокой скоростью ввода-вывода и высокой пропускной способностью, которые могут масштабироваться для работы с огромными массивами данных. С учетом сверхмощных GPU, способных молниеносно считывать данные из хранилища, предприятию необходима массивно-параллельная система с низкой задержкой, позволяющая избежать узких мест и рассчитанная на cтоль жесткую эксплуатацию. Для удовлетворения требований различных моделей необходимо иметь в наличии различные виды хранилищ, включая флэш-память, локальные и облачные хранилища. Флэш-память может обеспечить более плотное размещение оборудования, агрегированную производительность, масштабируемость и эффективность для ускорения разработки моделей и приложений ИИ с учетом экологических ограничений. Кроме того, флэш-память снижает энергопотребление, что крайне важно для устойчивого применения генеративного ИИ в настоящем и будущем.

В конечном итоге поставщики инфраструктуры данных могут оказать наилучшую поддержку разработчикам корпоративного ИИ, предоставив в их распоряжение унифицированную эластичную плоскость данных и простые в развертывании аплаенсы с блоками генеративного ИИ, а также подходящие системы хранения и вычислений. Унифицированная эластичная плоскость данных — это обеспечивающая чрезвычайно эффективную обработку данных бережливая машина — с узлами плоскости данных, расположенными рядом с местами хранения данных, легким доступом к разрозненным источникам данных, а также улучшенным контролем над происхождением данных, их качеством и безопасностью. Поверх нее могут располагаться и постоянно обучаться установленные на аплаенсах модели. Такой подход ускоряет разработку корпоративных ИИ-приложений, приносящих ценность в разных областях.

Контроль над расходами и углеродным следом

Очень важно, чтобы эти технологические основы эры ИИ создавались с учетом экономической эффективности и сокращения углеродного следа. Мы знаем, что обучение LLM и распространение генеративного ИИ в разных отраслях приводят к увеличению углеродного следа в то время, когда мир отчаянно нуждается в его сокращении. Мы также знаем, что CIO постоянно называют сокращение расходов одним из главных приоритетов. Гибридный подход к инфраструктуре данных позволяет предприятиям гибко выбирать, что лучше всего подходит для их конкретных потребностей и что наиболее экономично для удовлетворения этих потребностей.

Самое главное, новаторы в области ИИ должны четко представлять, чего именно они хотят добиться и какие модели и наборы данных им для этого нужны, а затем в соответствии с этим определять требования к аппаратному обеспечению: флэш-памяти, SSD и HDD. Возможно, будет выгодно арендовать оборудование у гиперскейлеров, а возможно — использовать локальные машины. В любом случае генеративный ИИ нуждается в энергоэффективных хранилищах высокой плотности для снижения энергопотребления.

Гибридные дата-центры с высоким уровнем автоматизации, эластичной плоскостью данных и оптимизированными аплаенсами для создания ИИ-приложений помогут продвигать инновации в области ИИ социально ответственным и устойчивым способом, не забывая при этом о финансовых показателях. От того, как к этому подойдет ваш бизнес, зависит, будет ли он развиваться вместе со следующими этапами развития ИИ или станет пережитком прошлого.