ATREX.RU
Пресс релизы коммерческих компаний и общественных организаций

» Архив пресс-релизов

» Авторам от редакции

» Добавить пресс-релиз

6IT технологии «

1Антивирусы «

2Промышленность и производство «

Банки «

4Культура, искусство «

7Образование, учеба «

Природа, окружающая среда «

2Наука «

1Медицина «

Фармацевтика «

1Спорт «

6Реклама, PR «

Договора, соглашения «

3Логистика, транспорт «

1Благотворительность «

Скидки «

2Прочие события «

1Другие статьи «

Комментарии специалистов «

2Недвижимость «

1Аналитика «

Самое-самое //

Пресс-релизы //

» Добавить пресс-релиз

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки.

Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных.

OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности.

OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.

Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.

Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта.

К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps.

В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.

«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

Контактное лицо: Татьяна Алексеева (написать письмо автору)
Компания: IT_One (все новости этой организации)
Добавлен: 22:31, 06.12.2023
Количество просмотров: 44
Страна: Россия

Тюменский индустриальный университет начнет использовать платформу для транспортного моделирования RITM³ от SIMETRA, Simetra, 00:47, 08.05.2024, Россия

153

ГК SIMETRA, центр компетенций в области моделирования транспортных потоков и транспортного планирования, подписала соглашение о сотрудничестве с Тюменским индустриальным университетом (ТИУ) – одним из ведущих вузов региона

83% студентов Института iSpring получили гранты на обучение, iSpring, 00:47, 08.05.2024, Россия

Институт iSpring, частный вуз нового поколения, выделил более 127 млн рублей на гранты студентам в 2023-2024 году. Грантовая программа Института дает всем талантливым абитуриентам равные возможности на качественное образование вне зависимости от дохода семьи. В 2023-2024 году с грантовой поддержкой обучается 83% студентов.

Nubes (НУБЕС) предоставил облако для TravelTech-платформы «Погнали!», Nubes, 00:44, 08.05.2024, Россия

106

ИТ-компания «Погнали!» запустила свое решение в облаке нового поколения NGcloud. На облачных ресурсах Nubes разработчик развернул масштабную онлайн-платформу для любителей путешествовать по России, а для хранения большого объема данных подключил сервис объектного хранилища S3.

Nubes (НУБЕС) предоставил облако для TravelTech-платформы «Погнали!», Nubes, 00:41, 08.05.2024, Россия

Hybrid открывает собственную школу обучения программатик - специалистов Hybrid AdOps School, Hybrid, 00:41, 08.05.2024, Россия

Компания Hybrid, специализирующаяся на высокотехнологичных разработках в области интернет-рекламы, запустила собственную школу обучения Ad operation менеджеров. Инициатива направлена на молодых специалистов города Тамбова и позволит со временем ликвидировать дефицит профессионалов в сфере adtech.

Холдинг Т1 запустил летний ИТ-Лагерь, Холдинг Т1, 00:40, 08.05.2024, Россия	35
Студентов со всей России организаторы соберут на очный буткемп, а лучшим — предложат присоединиться к команде холдинга

Студенты СПбГАСУ будут учиться моделированию на цифровой платформе RITM³ компании SIMETRA, Simetra, 01:44, 04.05.2024, Россия

773

ГК SIMETRA и Санкт-Петербургский государственный архитектурно-строительный университет (СПбГАСУ) заключили соглашение о сотрудничестве. В рамках соглашения SIMETRA поставила вузу академические лицензии на использование в образовательном процессе цифровой платформы RITM³.

HRlink повысил надежность работы сервиса кадрового ЭДО, HRlink, 01:11, 04.05.2024, Россия

396

Архитектуру платформы кадрового электронного документооборота (ЭДО) HRlink адаптировали к существенному росту количества пользователей. Кроме того, в 2024 году HRlink первой на рынке решений для безбумажного КДП занялась подключением второго удостоверяющего центра для электронных подписей.

700 заявок, увеличение рабочей группы и акцент на практику: BIA Technologies подвела итоги «Школы тестировщиков», BIA Technologies, 01:44, 04.05.2024, Россия	390
В этом году по результатам обучения сертификаты о прохождении курса получили 35 выпускников, а 16 из них теперь работают в компании.

В системе управления базами знаний Документерра появились ИИ-инструменты, Документерра, 01:05, 04.05.2024,

393

Облачная платформа для совместной работы с документацией и базами знаний Документерра представляет свое последнее обновление. Сюда входят: сразу две новых функции на основе ИИ, новые интеграции с помощью Zapier и ряд других полезных дополнений.