Программная служба Dewesoft Historian для работы с большими объемами данных

Программная служба Dewesoft Historian позволяет создать базу данных в «облаке». В нее передаются все измеренные данные системы мониторинга, а пользователь получает к этой информации доступ через веб-браузер или специальное ПО. Решение создано для хранения и работы с очень большими объемами данных. Подробно рассказано о программных компонентах указанного продукта: веб-браузере Grafana, сервере Historian Service, ПО Dewesoft X и Dewesoft RT DAQ, модулях сбора данных KRYPTON.

ООО «ДЕВЕСОФТ РУС», г. Москва

скачать pdf >>

Федеральный закон «Технический регламент о безопасности зданий и сооружений» от 30.12.2009 № 384‑ФЗ предписывает обеспечивать защиту находящихся в здании людей от воздействия целого ряда вредных факторов: вибрации, магнитного поля, влаги, шума и др. Одной из мер, позволяющих выполнить требования закона, является создание системы мониторинга, постоянно контролирующей указанные параметры. Особенно наличие такой системы актуально на современных и сложных строительных сооружениях – крупных стадионах, мостах, электростанциях, заводах, комплексах высотных зданий и других объектах, где вредное воздействие вибрации и других физических факторов способно нанести наибольший ущерб как людям, так и самому сооружению.

Количество систем мониторинга, а также других автоматизированных систем растет вместе с числом контролируемых параметров и скоростями передачи данных. Все указанные факторы приводят к то­му, что накапливаются такие колоссальные объемы данных, что возникают трудности с их хранением, доступом к этой информации и ее визуализацией. Для того чтобы справиться с этой проблемой, постоянно разрабатываются новые решения, как программные, так и аппаратные. В статье мы представим одно из таких решений – программную службу Dewesoft Historian для хранения очень больших объемов данных и быстрого извлечения нужной информации.

Компания Dewesoft и ее программная служба Historian

Разработчик программной службы Historian – компания Dewesoft из Словении, которая специализируется на создании аппаратного и программного обеспечения для сбора данных. Несмотря на то что компания появилась чуть больше 20 лет назад, сеть ее филиалов и дистрибьюторов охватывает весь мир. И то­му можно найти объяснение: Dewesoft – лучший в своем классе производитель устройств сбора данных. Они высокотехнологичны, просты в использовании, демонстрируют высокую гибкость и применяются в лабораториях, промышленности и строительстве, служат для разработки ракет и спутников, новейших автомобилей и другой продукции.

Служба Dewesoft Historian – это программное решение, с помощью которого ба­за данных создается в «облаке». В эту базу данных стекается вся информация с контроллеров или измерительных устройств системы мониторинга (рис. 1), а пользователь получает доступ к этой ба­зе данных через веб-браузер или специальное программное обеспечение, предоставленное компанией (один из компонентов Dewesoft Historian).

Рис. 1. Общая структурная схема мониторинговой системы

Программная служба Dewesoft Historian построена на основе известного ПО InfluxDB с открытым исходным кодом, которое создавалось специально для работы с очень большими массивами данных (мониторинг операций, работа с метриками приложений, сбор данных с датчиков и анализ в режиме реального времени). В ней применен принцип ба­зы данных временных рядов, позволяющий упорядочить весь массив информации и при необходимости легко и быстро извлечь требуемые данные для дальнейшего анализа.

Компоненты программной службы Historian

Измерительное устройство или контроллер запускают программы Dewesoft X или Dewesoft RT DAQ (рис. 2), которые связываются с базой данных через протокол OPC UA. Сервер Historian Service обменивается данными с измерительными устройствами и (или) контроллерами: записывает информацию в базу данных или считывает ее оттуда и передает клиентам.

Рис. 2. Программные компоненты общего решения Dewesoft Historian

Отметим, что программная служба Dewesoft Historian может работать с любым оборудованием, имеющим встроенное ПО для сбора данных. Она способна сохранять неограниченное время следующие типы каналов передачи данных:
- синхронные и асинхронные одномерные каналы связи;
- узкополосные спектры и развертки осциллографа в качестве асинхронных двухмерных каналов.

Grafana – веб-браузер визуализации данных

Веб-браузер Grafana (рис. 3) – еще один популярный продукт с открытым программным кодом, который использован для создания Dewesoft Historian. Он обеспечивает визуализацию данных и доступен на любой платформе – Windows, Linux, в том числе на кросс-платформенной основе.

Рис. 3. Мониторинговое окно в веб-браузере Grafana

Grafana предоставляет комплексные возможности для отображения трендов и текущих значений. Компания Dewesoft разработала расширения для визуализации 2D-каналов, позволяющие отображать в этом веб-браузере узкополосные спектры и развертки осциллографа. Также разработан коннектор Grafana на основе Python, который оптимизирует загрузку данных для длинных и коротких интервалов времени, динамически регулируя плотность отображаемой информации.

Базовые математические и пороговые уровни можно установить на любом дисплее. Также их можно использовать для отправки по электронной почте предупреждений, которые формируются на основе отображаемых данных.

Программа Dewesoft X: доступ к данным в Historian

Параллельно с веб-клиентами Gra­fa­na к ба­зе данных может обращаться пользователь программного обеспечения Dewesoft X (рис. 4) для сбора данных с их последующей математической обработкой. Если применить плагин Historian Importer в режиме анализа Dewesoft X, данные за выбранный период времени загрузятся в файл Dewesoft. Обычно Dewesoft Historian Importer работает на клиентском компьютере технического специалиста, которому требуется доступ к ба­зе данных для проведения углубленного анализа и составления отчетов.

Рис. 4. Анализ данных в ПО Dewesoft-X

После того как данные будут импортированы в файл Dewesoft *.dxd, с ни­ми можно работать, применяя весь спектр математических операций Dewesoft. Ежедневные, еженедельные, ежемесячные и другие отчеты легко составлять и экпортировать в файлы формата PDF, Excel или любого другого формата, доступного в Dewesoft.

Сохранение потоков «живых» данных

Данные с измерительных устройств и контроллеров могут передаваться напрямую в клиент Dewesoft X с помощью плагина Historian Client, который обеспечивает детальный просмотр информации в режиме реального времени (рис. 5). В этом случае поток данных идет в обход ба­зы данных и поэтому может отображать необработанные высокоскоростные данные, которые необязательно сохраняются в ба­зе. Это позволяет реализовать визуализацию и запись данных по запросу, например после получения извещения о тревоге на адрес электронной почты.

Рис. 5. Просмотровое окно необработанных высокоскоростных данных в ПО Dewesoft-X

Настройку каналов потоковой передачи данных можно выполнять так же, как и настройку любых других каналов Dewesoft.

Интеграция с программным обеспечением сторонних производителей

Системы SCADA, CMMS или ERP можно подключить к Dewesoft Historian по протоколу OPC UA или напрямую к ба­зе данных InfluxDB с помощью ее API (Application Programming Interfacе). В этом случае Historian Service действует как сервер OPC UA, обеспечивая поток данных стороннему клиенту OPC UA. Ба­за данных InfluxDB предоставляет хорошо документированный API и обеспечивает доступ к историческим данным – обычно для интеграции с ПО машинного обучения (рис. 6).

Рис. 6. Интеграция с ПО сторонних производителей

Безопасность сохранения данных и функция ретрансляции

В случае сбоя в работе сети измерительные блоки сохранят данные в локальном буфере, а при восстановлении сетевого соединения безопасно передадут их в ба­зу данных Historian (рис. 7). Размер локального буфера можно отрегулировать вплоть до нескольких сотен мегабайт. Допустимое время автономной работы зависит от размера буфера, скорости передачи данных и доступной пропускной способности се­ти при повторном подключении.

Рис. 7. Сохранение данных в базу данных Historian

Сервер OPC UA с функцией ретрансляции настолько надежен, что используется для отправки данных с самолета по се­ти 4G и обеспечивает просмотр телеметрических данных с нескольких базовых станций в режиме реального времени.

Политика хранения данных

Можно настроить количество данных в БД и время их сохранения (рис. 8). Объем данных сокращается за счет усреднения выборок с более высокой скоростью передачи данных и понижающей дискретизации. Продолжительность и скорость передачи данных можно настроить с помощью скриптов конфигурации InfluxDB на языке SQL.

Рис. 8. Политика хранения данных

Распределенная архитектура Historian

Программная служба Dewesoft Historian разработана как распределенная система. Каждый ее компонент может работать в другой системе:
- измерительные устройства – это единицы ПО Dewesoft X (Windows) или Dewesoft RT (Linux, кросс-платформа), для их связи с Historian Service требуется серверный плагин Dewesoft OPC UA;
- Historian Service – основной компонент Dewesoft Historian. Он обрабатывает передачу данных между единицами ПО, базами данных и клиентами. Historian Service и ба­за данных обычно работают на одном сервере, но это необязательно;
- Grafana тоже может работать на другом сервере, если это необходимо, поскольку она взаимодействует с базой данных по протоколу HTTPS;
- Historian Service поддерживает одновременное подключение нескольких клиентов Dewesoft из разных систем через интернет или в локальной сети. Синхронизации по NTP на каждом компоненте достаточно для работы системы.

Модули сбора данных KRYPTON: гибкое конфигурирование измерительных систем

Распределенный сбор данных. Модули сбора данных KRYPTON (рис. 9) созданы для того, чтобы перенести сбор данных ближе к датчикам. Это дает множество преимуществ по сравнению с традиционными системами. KRYPTON позволяет подключить модули сбора данных к одному каналу передачи данных.

Рис. 9. Модули сбора данных KRYPTON

EtherCAT. Для обмена данными, синхронизации и подачи питания используется протокол EtherCAT со скоростью на шине до 100 Мбит/с. Для подключения KRYPTON достаточно одного кабеля.

До 100 м между устройствами. Модули KRYPTON можно распределить по большой площади с расстоянием между узлами сбора данных до 100 м.

Класс защиты IP67. Все модули KRYPTON заключены в сверхпрочный корпус со степенью защиты от пы­ли и влаги IP67 и готовы к измерениям в самых экстремальных условиях.

1, 3, 4, 8 или 16 измерительных каналов. Модули KRYPTON доступны в различных конфигурациях – от миниатюрных одноканальных до мощных 16‑канальных, при этом все приборы можно распределить по одному каналу.

Частота выборки до 20 кГц на канал. Большинство каналов KRYPTON на линии EtherCAT обладают максимальной скоростью выборки до 20 тыс. в секунду.

Универсальные аналоговые входы. Доступны универсальные аналоговые входы, самостоятельно принимающие сигналы напряжения и измерительного моста (полумоста, четвертьмоста). Сигналы IEPE, заряда, термопары, RTD, то­ка, сопротивления и LVDT принимаются с помощью адаптеров DSI.

ПО с пожизненным обновлением в комплекте. Удобное и мощное ПО Dewesoft X3 включено в комплект поставки. С ним легко настраивать прибор, работать с интеллектуальными датчиками и получать дополнительные возможности для хранения и анализа данных. Все обновления бесплатны, никаких скрытых расходов.

Примеры применения Dewesoft Historian

Системы сбора данных Dewesoft широко используются для мониторинга состояния и сейсмической устойчивости, механических свойств и конструктивных особенностей различных сооружений. Они обеспечивают распределенный, многоканальный и дистанционный мониторинг зданий, путепроводов, дорог и мостов. Показательным примером может служить система мониторинга мостового сооружения «Гонконг – Чжухай – Макао» (КНР), которая обслуживает несколько мостов и туннелей, соединяющих три больших города, где уже имплементировано мониторинговое решение Dewesoft.

Другой пример – перспективная система мониторинга напряженно-деформированного состояния и сейсмической устойчивости новой волейбольной арены в г. Белгороде. Это современное сооружение возводят к Чемпионату ми­ра по волейболу, и оно отвечает всем требованиям, предъявляемым к спортивным объектам для международных соревнований. При этом строится арена на рельефе с перепадом высоты, а потому необходим постоянный мониторинг напряженно-деформированного состояния и сейсмической устойчивости. ПО Dewesoft позволит просто и быстро получать все данные мониторинга, вести отчетность и принимать оперативные решения.

Концепция системы предложена к рассмотрению для всесторонней оценки и экспертного заключения Департаменту строительства и транспорта Белгородской области партнером и интегратором решений Dewesoft в области строительства – Белгородским государственным технологическим университетом им. В. Г. Шухова.

Опубликовано_в журнале ИСУП № 1(91)_2021

ООО «ДЕВЕСОФТ РУС», г. Санкт-Петербург,
тел.: +7 (921) 876‑8043,
e‑mail: sales.russia@dewesoft.com,
сайт: dewesoft.com/ru