Arenadata представила новую версию ADH 4.0.0, в которой устранены межсервисные зависимости, — теперь заказчики могут устанавливать кластеры с любым набором компонентов без обязательных hadoop-сервисов. В связи с этим компания отказалась от прежнего наименования продукта (Arenadata Hadoop) и перезапускает ADH под новым названием — Arenadata Hyperwave.
Arenadata Hyperwave — универсальная гибридная платформа на основе open source компонентов и проприетарных разработок, предназначенная для хранения, обработки и анализа данных любой структуры и объёма. Она предоставляет набор инструментов и сервисов для реализации современных архитектурных шаблонов — от Data Lake до Lakehouse и Data Mesh. Платформа поддерживает как простые сценарии аналитики, так и продвинутые варианты использования: машинное обучение, обнаружение аномалий, аналитику журнальных файлов и GenAI.
Александр Анисимов, технический руководитель продукта Arenadata Hyperwave, отметил: «На момент запуска ADH базировался на жёстко связанных инструментах и компонентах экосистемы Hadoop, таких как HDFS, MapReduce, Yarn, однако со временем эволюционировал в полноценную платформу данных для гибридных нагрузок. Базовую функциональность расширили новые возможности: федеративные запросы, ACID-транзакции, автоматизированное управление хранением, безопасность корпоративного уровня и др. С децентрализацией компонентов (устранением жёсткой привязки к hadoop-сервисам) в версии 4.0.0 мы меняем название, чтобы отразить новые возможности платформы и современный технологический стек».
Новая версия содержит ряд функциональных обновлений:
- реализована возможность выполнять rolling restart для HDFS, ZooKeeper, Yarn и HBase. Функция позволяет перезапускать компоненты DataNode по одному (или партиями), а не все сразу. Это помогает избежать простоя сервисов и позволяет сохранить работоспособность кластера при рестарте;
- добавлен компонент Flink History Server, который отображает статистику завершённых приложений Flink в веб-интерфейсе;
- внедрён новый сервис Monitoring. Он разворачивает в ADH свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера, а также поддерживает возможность использования веб-интерфейса Grafana для визуализации и анализа информации. Сервис включает все необходимые экспортёры и настроенные инфопанели для HDFS, Ozone, Hue, Kyuubi, Yarn, HiveServer и HiveMetastore, Impala;
- появилась возможность автоматической установки Java из репозиториев Arenadata .
Кроме того, релиз включает обновления версий сервисов, расширяющие их возможности:
- в Trino добавлена поддержка объектного хранилища Ozone, в том числе поддержка работы с Ozone через протокол OFS. В поставку включён специализированный Trino ADB сonnector с поддержкой параллельных операций чтения/записи в кластере ArenadataDB (ADB). Реализован DBCatalogManager с версионированием и режимом обслуживания и расширенные возможности управления: конфигурацию дополнили настройки протоколирования, контроль бесперебойной работы с предустановленными значениями для текущего хранилища (HDFS/Ozone), настройки свойств сессии и групп ресурсов. Также расширены функции безопасности: для Trino добавлен плагин Ranger и возможность настройки LDAP-аутентификации через Arenadata Cluster Manager (ADCM);
- в Ozone реализована возможность настройки Ozone Topology Awareness — функции, учитывающей физическую топологию сети при размещении данных. Она исключительно важна для обеспечения отказоустойчивости и общей производительности, особенно в географически распределённом кластере. При включённой функции Ozone размещает каждую реплику ключа на хосте в отдельной стойке, что гарантирует доступность данных в случае сетевого сбоя или других проблем;
- добавлена поддержка имперсонации для выполнения действий в Smart Storage Manager. Под имперсонацией понимается механизм, позволяющий сервису производить действия от имени другого пользователя, реализованный для соответствия политикам безопасности, изоляции данных и ресурсов между пользователями, а также аудита действий с фиксацией в журналах имени пользователя, который осуществил запуск;
- в Hue теперь доступен преднастроенный интерпретатор Trino с расширенной функциональностью, включающей поддержку kerberos-аутентификации;
- для Kyuubi разработан Open Metadata Lineage Dispatcher для отправки lineage-событий на сервер OpenMetadata;
- оптимизирован ADB Spark Connector, получивший поддержку push-down-предикатов и gp_parallel_retrieve_cursor;
- реализована поддержка высокой доступности (HA) для сервисов Impala StateStore и Impala Catalog.
Вместе с обновлённой Arenadata Hyperwave представлен очередной релиз подсистемы безопасности Arenadata Platform Security (ADPS). Актуальная версия 1.2.2 включает апгрейд сервиса Ranger, обновление поддержки MaintenanceМode в ADCM, возможность изменять настройки протоколирования KnoxCLI в ADCM и другие улучшения.
