У компаний, которым необходимо хранить десятки петабайт неструктурированных данных, ранее было два основных способа хранения: объектное хранилище и распределенные файловые системы. По данным Gartner, эти два класса систем хранения данных слились воедино, и ведущие поставщики предлагают единое предложение для обоих видов хранения.

Два года назад аналитики Gartner заявили, что объектное хранение и распределенные файловые системы находятся в процессе объединения. В вышедшем в октябре отчете «2022 Magic Quadrant for Distributed File Systems and Object Storage» сообщается, что слияние завершилось.

Различия между сегментами распределенных файловых систем и объектных хранилищ стираются, и покупатели уже рассматривают их как один рынок и требуют как файлового, так и объектного доступа для неструктурированных наборов данных, утверждают аналитики Gartner. Чтобы решить эту проблему, наиболее инновационные поставщики предлагают файловые и объектные сервисы на общем хранилище данных, обычно хранилище «ключ-значение».

По данным Gartner, в настоящее время заказчики наращивают инвестиции в распределенные файловые системы и объектные хранилища данных вслед за ростом объема неструктурированных данных, который ежегодно увеличивается на 30%. И в ближайшие четыре года крупные предприятия увеличат емкость объектных хранилищ и распределенных файловых систем на 300%.

По данным Gartner, в ближайшие три года на периферии будет развернуто 40% объектных хранилищ и распределенных файловых систем, что значительно больше нынешних 15%. Кроме того, гибридные облачные архитектуры будут использоваться в 60% развертываний.

Распределенные файловые системы обычно используют протокол типа Network File System (NFS) для доступа к отдельным файлам в конфигурации сетевого хранилища (NAS). Некоторые файловые системы также используют протоколы Server Message Block (SMB) или Common Internet File System (CIFS). Объектные хранилища, с другой стороны, почти повсеместно используют для доступа к объектам службу AWS Simple Storage Service (S3), основанную на протоколе REST.

Хотя Gartner считает, что объектные хранилища и распределенные файловые системы сближаются, это не означает единообразия в линейке продуктов. На самом деле, между продуктами разных производителей существуют значительные различия, включая то, какие файловые интерфейсы и протоколы они поддерживают. Способ развертывания — еще один источник различий, поскольку некоторые из этих предложений представляют собой программно-определяемые системы хранения (SDS), а другие развертываются на аплаенсах.

Вот некоторые плюсы и минусы каждого из 17 поставщиков, упомянутых в отчете Gartner.

Лидеры (Leaders)

Gartner высоко оценила недавние усовершенствования распределенной файловой системы PowerScale от Dell Technologies, включая возможность перемещения файловых данных в корзины S3, поддержку NFS поверх RDMA и обновление для борьбы с вымогателями. Среди недостатков отсутствие поддержки параллельной NFS (nNFS) или других механизмов для рабочих нагрузок, требующих параллельного доступа от вычислительной фермы.

IBM попала в квадрант лидеров благодаря свои предложениям масштабируемых СХД, включая Spectrum Scale — высокопроизводительную параллельную файловую систему, которая поддерживает интерфейс S3 и может работать онпремис или в облаке. Компания также предлагает IBM Cloud Object Storage (COS), которая основана на приобретенном в 2015 г. решении поставщика объектных хранилищ Cleversafe. IBM похвалили за контейнеризацию ее предложения по хранению данных. Однако упрекнули в том, что она полагается на партнеров в управлении развертыванием облачных файловых систем клиентов и не предлагает собственного фирменного предложения хранения как сервиса.

Pure поддерживает объектные и файловые протоколы в своем устройстве хранения FlashBlade, которое линейно масштабируется для обеспечения высокой пропускной способности и параллелизма файлов и объектов. Самым большим недостатком компании остается высокая стоимость массивов FlashBlade, а также стратегия гибридного облака.

Qumulo предлагает нативное облачное хранилище объектов и файлов, которое поддерживает протоколы NFSv4.1 и S3. Ее самыми большими недостатками стали «размер и широта гибридных предложений», отсутствие полной интеграции в HPE InfoSight и отсутствие поддержки в европейских ЦОДах Azure.

Претенденты (Сhallengers)

Cloudian HyperStore обладает всеми необходимыми характеристиками масштабируемого объектного хранилища для высокопроизводительных рабочих нагрузок. Оно работает как онпремис, так и в публичных облаках. В качестве недостатка отмечается использование внешнего «дополнительного» файлового шлюза для рабочих нагрузок файловой системы, что ограничивает возможности масштабирования.

Система объектного хранения Hitachi Content Platform (HCP) отличается гибкостью, поскольку может быть развернута и как аплаенс, и как программное решение, в облаке или онпремис. В то же время компания опирается для своей файловой системы на партнера Weka, что требует скоординированного подхода для эффективной поддержки интенсивных по производительности и тяжелых по файлам рабочих нагрузок.

OceanStor Pacific от Huawei поддерживает как файловые, так и объектные протоколы и хорошо подходит для крупномасштабных рабочих нагрузок неструктурированных данных. Однако эта система еще мало опробована за пределами Азиатско-Тихоокеанского региона, и, вероятно, не получит широкого распространения по геополитическим причинам.

Провидцы (Visionaries)

Cohesity SmartFiles предлагает интерфейсы файловых объектов для локальных и облачных хранилищ. В прошлом году добавлен NFSv4, а также блокировка объектов S3. Самыми большими недостатками являются недостаточно широкое развертывание, обусловленное относительной новизной продукта, а также отсутствие некоторых расширенных возможностей.

NetApp предлагает множество вариантов развертывания своего StorageGRID, включая локальные аплаенсы и SaaS в облаке. Но в нем отсутствует нативный интерфейс файловой системы, поэтому клиентам приходится использовать внешние решения.

Nutanix предлагает интерфейсы NFS и S3 через Nutanix Files и Nutanix Objects, которые являются компонентами Nutanix Cloud Platform. Самым большим недостатком является отсутствие дедупликации данных и тот факт, что единственным облаком, поддерживаемым Nutanix, является AWS.

Quantum в своем ActiveScale предлагает интерфейсы S3 и NFS/SMB. Приобретение компании Pivot3 укрепило ее позиции на рынке видеонаблюдения. Однако продукту не хватает дедупликации данных, поддержки NFSv4, распределенного SMB и двухпротокольного доступа.

Red Hat в своем Ceph Storage поддерживает блочные, объектные и файловые рабочие нагрузки. Хотя это решение привлекательно для сторонников Open Source, существует несколько предостережений, включая малое количество развертываний Ceph File System (CephFS) в крупных производственных средах, а также проблемы со сложностью и управляемостью.

Scality отмечена в первую очередь благодаря поддержке в RING сервисов объектного и файлового хранения, а также развертыванию в локальных и облачных средах. Самыми большими недостатками являются относительная малочисленность установленной базы RING, отсутствие поддержки доступа к файлам с низкой задержкой (что необходимо для аналитики) и необходимость в определенном уровне знаний для управления.

VAST Data разрабатывает аплаенсы all-flash, которые предлагают интерфейсы распределенного файлового и объектного хранения. Масштабируемость и пропускная способность не являются проблемами для VAST. Среди недостатков отсутствие таких функций, как геораспределенное кодирование со стиранием (geodistributed erasure coding), обнаружение вымогательского ПО, синхронная репликация и интеграция с публичными облаками.

WEKA заинтересовала специалистов в области высокопроизводительных вычислений и искусственного интеллекта, представив WekaFS, которая подходит для высокопроизводительных опремисных или облачных файловых сценариев. Хотя решение поддерживает интерфейсы объектного хранения, оно, как правило, не рассматривается для использования в объектных или универсальных файловых системах.

Нишевые игроки (Niche Players)

EXAScaler от DDN — это распределенная файловая система, которая работает как онпремис, так и в облаке, и поддерживает крупномасштабные, высокопроизводительные сценарии использования. Однако интерфейс S3 здесь предназначен только для архивирования.

Китайский поставщик серверов Inspur, предлагающий системы на базе IBM Power, предлагает унифицированную систему хранения AS13000G6, которая удовлетворяет требованиям как объектных, так и файловых систем. На Gartner произвели впечатление алгоритмы оптимизации производительности. Но ее использование за пределами Азиатско-Тихоокеанского региона ограничено, отмечается также зависимость от собственного твердотельного накопителя.