 |
Arenadata Hadoop получил единую точку простого и безопасного доступа к данным
Компания Arenadata включила в состав корпоративного дистрибутива Arenadata Hadoop (ADH) новый сервис Apache Kyuubi — распределённый многопользовательский SQL-шлюз для корпоративных хранилищ и озёр данных. Он расширяет возможности быстрой интерактивной аналитики в Arenadata Hadoop и обеспечивает простой и безопасный доступ к любому ресурсу кластера через единую точку входа.
Kyuubi предоставляет унифицированный интерфейс для доступа к вычислительным движкам через единую систему аутентификации и авторизации. Благодаря сервису дата-сайентисты и аналитики получают возможность обрабатывать данные с помощью привычного движка, поддерживаемого продуктом. В свою очередь, администраторам баз данных предоставляется единый интерфейс для конфигурации, обеспечения безопасности и управления доступом к данным.
«В контексте дистрибутива Arenadata Hadoop мы уже предоставили возможность работы Kyuubi со Spark SQL и Hive, в планах — расширить эту функциональность поддержкой Flink SQL. Кроме того, мы разработали и отдали в апстрим проекта возможность поддержки диалекта Impala для JDBC-движка, в нашем продукте она доступна, начиная с версии ADH 3.2.4.2», — комментирует Александр Анисимов, технический руководитель продукта Arenadata Hadoop.
Новый сервис предоставляет SQL-интерфейс и поддержку JDBC/ODBC, что делает его удобным для пакетной обработки ETL/ELT, аналитики, ad-hoc-задач и интеграции с BI-системами. Kyuubi также предоставляет эффективное управление вычислительными ресурсами движка Spark SQL, давая возможность как объединять вычислительные ресурсы для группы пользователей в одной сессии, так и гарантировать изоляцию необходимых ресурсов для каждого пользователя или подключения.
Функции обеспечения безопасности и высокой доступности — фундаментальные требования для корпоративного использования. В рамках этой тенденции в Kyuubi внедрена поддержка LDAP-аутентификации для клиентов, а также добавлен плагин Kyuubi AuthZ для Spark 3, обеспечивающий управление доступом к данным, — функциональность доступна, начиная с версии ADH 3.2.4.3. В контексте улучшения высокой доступности команда Arenadata разработала и отдала в апстрим проекта возможность использовать PostgreSQL в качестве хранилища метаданных (metastore).
Помимо базового варианта использования, Kyuubi позволяет расширить возможности сервера и вычислительных движков. Для сервера доступно внедрение пользовательских функций в модули, отвечающие за аутентификацию, конфигурацию и др. Для вычислительных движков можно добавить новые возможности путём разработки собственных плагинов и применения сторонних.
«Kyuubi отвечает требованиям наших заказчиков к проектам уровня enterprise. Сервис расширяет возможности Arenadata Hadoop в части интерактивного доступа, изоляции вычислительных ресурсов, поддержки нескольких рабочих нагрузок и безопасности данных», — комментирует Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata.
Детальное описание сервиса Kyuubi доступно по ссылке.
Возможности Arenadata Hadoop
Arenadata Hadoop (ADH) — корпоративный дистрибутив на базе Apache Hadoop, предназначенный для хранения и обработки слабоструктурированных и неструктурированных данных.
Решаемые задачи:
· Хранение и обработка больших объёмов слабоструктурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД).
· Распределённая обработка информации.
· Построение озёр и фабрик данных (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде).
· Машинное обучение и искусственный интеллект.
· Источник данных для КХД.
· Импортозамещение западных систем.
На Arenadata Hadoop получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских прог
Контактное лицо: Юлия Грызунова (написать письмо автору)
Компания: Arenadata (все новости этой организации)
Добавлен: 07:09, 28.07.2024
Количество просмотров: 103
Страна: Россия
| Что изменится в России с 1 января 2026 года, Компания "Гарант", 22:00, 04.01.2026, Россия |
92 |
| Всего в декабре вступают в силу положения 520 федеральных нормативных актов, принятых на данный момент. Ключевые поправки касаются: социальной сферы, трудовой сферы, налогообложения, бизнеса, военной службы, иных сфер. Рассмотрим самые важные изменения подробно. |
|
| Итоги «Такском» в 2025 году: ключевые результаты и события, Такском, 21:57, 04.01.2026, Россия |
101 |
| 2025 год стал для компании «Такском» очередным этапом уверенного развития и укрепления позиций на рынке цифровых услуг. С момента основания в 2000 году мы продолжаем создавать безопасную и технологичную среду для взаимодействия бизнеса, государства и граждан |
|
| Optimacros — финалист финтех-премии⁠ «Меркурий‑2025», Оптимакрос, 21:55, 04.01.2026, Россия |
161 |
| CPM/IBP-платформа Optimacros стала лауреатом национальной премии в области финансовых технологий, учрежденной Ассоциацией КорпФинТех. Российская система для интегрированного планирования, бюджетирования и бизнес-аналитики вошла в число финалистов в номинации «Продукт года». |
 |
| CommuniGate Pro: вышел новый продуктовый релиз 6.5.4, CommuniGate Pro, 21:53, 04.01.2026, Россия |
36 |
| Разработчик единой платформы корпоративных коммуникаций CommuniGate Pro выпустил обновление своего программного продукта. В версии 6.5.4 значительно улучшен веб-интерфейс, повышена стабильность работы в крупных инсталляциях и усилена информационная безопасность решения. |
 |
| Вышла новая версия системы «Arenadata Harmony MDM 3.0», Гармония MDM, 21:51, 04.01.2026, Россия |
34 |
| Группа Arenadata выпустила новую версию системы Arenadata Harmony MDM (AD.MDM) 3.0 — российское self-service решение для управления мастер-данными и корпоративной нормативно-справочной информацией (НСИ). |
 |
|
|
