 |
«Инфосистемы Джет» построила Data Lake для НЛМК
Эксперты «Инфосистемы Джет» разработали для мирового лидера сталелитейной промышленности систему анализа данных и моделирования (САДиМ), которая отвечает за доступность и качество данных, а также предоставляет инструментарий для вычислений и анализа. Внедренная система уже сейчас позволяет группе НЛМК эффективнее вести разработку цифровых сервисов и моделей машинного обучения для оптимизации производственных процессов.
В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML).
Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.
В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов.
В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.
Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.
«Создание озера данных, которое действительно приносит экономическую пользу заказчику – это непростая задача как с технической, так и с организационной точки зрения. И тут дело не только в железе, интеграции и программировании. Очень важна готовность производства собирать и передавать качественные данные, а потом использовать результаты анализа этих данных для принятия производственных решений. В сотрудничестве с коллегами из НЛМК, которые со стороны всех подразделений проявили высокий профессионализм и заинтересованность, нам удалось оперативно создать решение, сделавшее производство действительно цифровым», — подчеркивает Владимир Молодых, директор по разработке и внедрению программного обеспечения «Инфосистемы Джет».
Контактное лицо: Никита Кузнецов (написать письмо автору)
Компания: Инфосистемы Джет (все новости этой организации)
Добавлен: 22:59, 09.09.2019
Количество просмотров: 430
| «Балтийский лизинг» провел вебинар посвященный выпуску облигаций, ООО «Балтийский лизинг», 00:36, 26.04.2024, Россия |
17 |
| ООО «Балтийский лизинг» совместно с Московской биржей провели открытый вебинар, посвященный итогам 2023 года и новому выпуску облигаций компании, который запланирован на апрель 2024 года. В мероприятии приняли участие генеральный директор компании Михаил Жарницкий и заместитель генерального директора по работе с банками и инвесторами Дмитрий Казаковцев. |
|
| ESM-проект холдинга «Аникс» и компании «Деснол Софт» победил в конкурсе «ITSM-проект года 2024», Деснол Софт, 00:28, 26.04.2024, |
14 |
| Проект управления сервисом и активами торгового холдинга «Аникс» на базе Service Desk Итилиум, разработанного «Деснол Софт», одержал победу во всероссийском конкурсе «ITSM-проект года 2024». Лауреатами также стали проекты компаний Яндекс, Сбербанк, «Газпром нефть», «Русал», «Уралхиммаш», «Азот». |
|
| Иннофест 2024! Скоро! В Тюмени!, Альянс СОНКО, 00:28, 26.04.2024, Россия |
19 |
| На следующей неделе в Тюмени при поддержке Гранта Губернатора Тюменской области пройдёт III Фестиваль будущего «Иннофест 2024». |
 |
| Nubes запустил услугу комплексного аудита информационной безопасности, ООО Нубес, 15:27, 24.04.2024, |
196 |
| Облачный провайдер НУБЕС (Nubes) представил новую услугу — комплексный аудит ИБ. В его состав входит сканирование ИТ-инфраструктуры компании на уязвимости, проверка надежности паролей учетных записей, изучение корпоративной сети на предмет некорректных настроек средств защиты, а также оценка киберграмотности пользователей в отношении фишинговых рассылок. |
 |
| GMCS подписал соглашение о сотрудничестве с НИЯУ МИФИ, GMCS, 20:35, 22.04.2024, Россия |
345 |
| GMCS (входит в ГК «Максима») в рамках расширения работы с вузами подписала партнерское соглашение с НИЯУ МИФИ, ведущим инженерным вузом и единственным в России научно-исследовательским ядерным университетом. |
|
|
|
