Искусственный интеллект (ИИ) продолжает развиваться и расширяться, поскольку предприятия исследуют варианты использования для расширения своих бизнес-моделей. Согласно недавнему исследованию, проведенному Gartner , развертывания ИИ увеличивают реальную стоимость и, как ожидается, к 2022 году достигнут почти 4 тыс. Долл. США. Одной из специфических областей ИИ, в которой наблюдается значительный рост, является глубокое обучение (DL). Опрос Deloitte, проведенный в 2018 году, показал, что почти 50% респондентов использовали DL. В то время как ценность бизнеса продолжает расти, а интерес к DL на предприятии ощутим, это все еще сложная, рискованная и трудоемкая попытка интегрировать, проверять и оптимизировать решения для глубокого обучения. Вот почему мы представляем платформу с открытым исходным кодом под названием Nauta для распределенных DL с использованием Kubernetes.

Nauta предоставляет многопользовательскую распределенную вычислительную среду для проведения экспериментов по обучению модели DL на системах на базе процессоров Intel Xeon Scalable. Результаты можно просматривать и отслеживать с помощью интерфейса командной строки, веб-интерфейса и / или TensorBoard. Разработчики могут использовать существующие наборы данных, собственные данные или загруженные данные из онлайн-источников, а также создавать общие или личные папки, чтобы упростить сотрудничество между группами. Для масштабируемости и простоты управления Nauta использует компоненты из системы оркестровки Kubernetes, используя Kubeflow и Docker для контейнерного машинного обучения в масштабе. Шаблоны моделей DL доступны (и настраиваются) на платформе, устраняя сложности, связанные с созданием и проведением одноузловых и многоузловых экспериментов по глубокому обучению. Для тестирования моделей Nauta также поддерживает пакетный и потоковый вывод, все на одной платформе.

Nauta создана с учетом рабочих процессов разработчиков и ученых данных. Nauta — это стек корпоративного уровня для групп, которым необходимо запускать рабочие нагрузки DL для обучения моделей, которые будут развернуты в производстве. С помощью Nauta пользователи могут определять и планировать эксперименты по глубокому обучению в контейнерах с использованием Kubernetes на одном или нескольких рабочих узлах, а также проверять состояние и результаты этих экспериментов для дальнейшей настройки и запуска дополнительных экспериментов или подготавливать обученную модель для развертывания.

Nauta дает пользователям возможность использовать лучшие передовые практики от опытных разработчиков машинного обучения и операторов без ущерба для гибкости. На каждом уровне абстракции разработчики по-прежнему имеют возможность прибегнуть к Kubernetes и напрямую использовать примитивы. Nauta дает новичкам Kubernetes возможность экспериментировать, сохраняя при этом ограждения. Тщательно отобранные компоненты и интуитивно понятный UX уменьшают озабоченность по поводу готовности к работе, конфигурации и совместимости служб DL с открытым исходным кодом.

Nauta также облегчает сотрудничество с членами команды, так как оно было разработано с самого начала с возможностью включения нескольких пользователей. Входы и выходы задания могут быть разделены между членами команды и использованы для отладки проблем путем запуска TensorBoard против контрольных точек задания других.