Компания SberCloud, провайдер облачных технологий, представила обновлённую платформу ML Space. Об этом в ходе международной конференции AI Journey 2021 заявил исполнительный вице-президент Сбербанка, СТО Сбера, руководитель блока «Технологии» Давид Рафаловский.
Самым значимым обновлением ML Space является то, что платформа стала мультикластерной. Пользователи могут обучать свои модели, используя мощности сразу двух самых мощных суперкомпьютеров в России — Christofari и Christofari Neo. А также использовать для обучения индивидуальные карты GPU V100 или A100. Это позволяет гибко управлять скоростью и стоимостью разработки в зависимости от потребностей и бюджета пользователя.
Эффективная производительность нового суперкомпьютера Christofari Neo в двойной точности составляет почти 12 петафлопс. В нём установлены самые мощные карты А100 на максимальные 80 гигабайт памяти.
Другое важное обновление платформы связано с крупнейшим пополнением библиотеки базовых docker-образов для ноутбуков, задач в платформе ML Space. Теперь клиент может самостоятельно создавать собственные docker-образы на основе базовых и запускать их без ошибок в ML Space. Всё это экономит время DS и сокращает их непроизводительную работу.
Ещё одно обновление облачной платформы ML Space касается модуля AutoML, который теперь стал доступен для задач NLP и Computer Vision. Раньше модуль по автоматическому созданию моделей работал только на табличных данных и уже тогда занимал высокие рейтинги в бенчмарках точности и производительности. Теперь разработчики и DS получили возможность работать с новыми классами задач.
Также Давид Рафаловский представил два новых модуля ML Space: AI Services и Pipelines. Модуль AI Services похож на маркетплейс мобильных приложений, которые позволяет публиковать и продавать разработанные сторонними DS сервисы и продукты с
Модуль Pipelines позволяет ставить на поток цикл экспериментов, и будет востребован продвинутыми DS. Благодаря этому модулю высвобождается еще больше времени у специалиста, которое он может посвятить, к примеру, разработке новой задачи или обработке данных.
Удобные сервисы и модули сделали платформу ML Space очень востребованной как среди разработчиков экосистемы Сбера, так и у дата-сайентистов из компаний любого размера и научных организаций. Всего за год ею воспользовались 1,5 тыс. человек из порядка 250 команд. За это время ими было использовано 2,5 петабайта данных и 300 млн GPU-минут.
ML Space делает
Давид Рафаловский, исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии», отметил: «Мы знаем, как много времени дата-сайентисты тратят на подготовку инструментов для
Платформа ML Space с новым функционалом и картами А100 будет доступна всем желающим с 1 декабря 2021 года в SberCloud. На сайте SberCloud можно получить доступ к платформе ML Space, семейству генеративных моделей ruGPT-3, сервисов и демостендов для разработки собственных AI-сервисов и интеграции готовых решений SberCloud в продукты компании.