Проектирование распределенной системы контроля и сбора данных

В модулях с постфиксом api содержатся интерфейсы прецендентов приложения (Use Cases) и классы специальных исключений, относящиеся к специфике модуля. Также для данных модулей существует строгое правило, при котором они не могут иметь никаких зависимостей кроме стандартной библиотеки языка.Модули, ассоциированные со своим api модулем, имеют реализации интерфейсов прецедентов, которые посредством Dependency Injection передаются в зависимые части приложения. Данная инверсия управления позволяет быть зависимым только от api модулей, не содержащих сторонних библиотек, и общаться при помощи интерфейсов, чьи реализации могут быть изменены без внесений изменений в код зависимостей. Также они содержат репозитории, через которые с помощью баз данных происходит сохранение и загрузка состояния бизнес-сущностей, и контроллеры, отвечающие за взаимодействие сервера с UI.Модуль app отвечает за запуск и конфигурирование приложения, за единые правиласериализации / десериализации JSON объектов, форматов дат и времени, а также агрегирует все модули приложения и предоставляет единый DI-контейнер.Данное правило прослеживается на графе зависимостей модулей проекта (рисунок 17).connroncrorcronoroorocnonornrconnron_cr_orcron__oro_oro__cn_onorn_non__nРисунок 17. Зависимости между модулями проекта3.3Средства реализацииСогласно архитектуре (пункт 3.2) приложение и используемые им технологии можно разделить на 3 главных уровня (рисунок 18).Рисунок 18. Clean Architecture Layers [12]Вся бизнес-логика в Domain Layer написана на языке Kotlin 1.3.Presentation Layer реализован на языкеJavaScriptс помощью фреймворкаVue [13]и егокомпонентов:Vuex используется для хранения и изменения состояния сессии и общего состояния между компонентами.Vue Router используется для навигации пользователя между компонентами и проверки доступа к компоненту по состоянию сессии.Vuetify предоставляет Material Design компоненты для построения UI, динамическоеуправление разметкой, единую палитру цветов и вспомогательные CSS-стиликачестве HTTP клиента используется библиотека axios [14], а для общения с сервером по протоколу STOMP используется библиотека STOMP.js [15] через имплементацию WebSocketбиблиотеки SockJS [16].Граф зависимостей задач построен с помощью библиотеки визуализации d3.js [17] и расширением для отрисовки графов dagre-d3 [18]. Графики визуализируются с помощью библиотеки Plotly.js [19].Data Layer реализован с помощью фреймворкаSpring Boot 2.6 [20]и его компонентов:Spring Security используется приложением для аутентификации и авторизации совместно с JSON Web Token библиотеки Java JWT [21].Spring Web используется для создания HTTP REST API сервера, форм загрузки файлов в систему и их загрузки из системы.Spring WebSocket используется для хранения STOMP сессий и осуществляет распределение сообщений по топикам.Spring Data совместно с Hibernate ORM [22] используется в имплементациирепозиториев приложения и использует драйверы СУБД PostgreSQL [23] и MongoDBPostgreSQL используется системой для хранения информации о сущностях системы, а MongoDB для хранения файлов и их метаинформации.Для обращения к Docker Engine API используется библиотека Docker Java [25], а для общенияKubernetes API Server библиотека Kubernetes Client [26].Unit-тестирование проводится с помощью библиотеки JUnit [27] и Google Truth [28], для заглушек сервисов при тестировании используется библиотека Mockito [29].Схема баз данных системы приведена на рисунке 19. teamusr workflowteam_usersystem_role workloadtask dependency_marker file file_c unksРисунок 19. Схема таблиц баз данных системыТаблицы file и file_chunks являются элементами данных спецификации для хранения файлов MongoDB GridFS, остальные таблицы являются элементами реляционной базы данных PostgreSQL.3.4Результаты разработкиРассмотрим осрбенности проектирования распределенной системы контроля и сбора данных, используя программный пакет CodeSyS 2.3 и контроллер фирмы ОВЕН. Модель контроллера требует CodeSyS при создании проекта в программе. Программу будем составлять на языке CFC.Наша задача заменить схему управления с релейной на программную, ничего не меняя в устройстве, технологии и органах управления насосной станции.Для начала определим все необходимые входные и выходные сигналысистемы контроля и сбора данных, которые нам понадобятся в программе.Входы:Пуск 1 насоса;Стоп 1 насоса;Пуск 2 насоса;Стоп 2 насоса;Ручной режим 1 насоса;Автоматический режим 1 насоса;Ручной режим 2 насоса;Автоматический режим 2 насоса;1-й насос основной;2-й насос основной;Датчик уровня ДУ1;Датчик уровня ДУ2;Датчик уровня ДУ3;Датчик уровня ДУ4.Выходы:Насос1;Насос2;Лампа аварийного уровня.Итого: 14 входов и 3 выхода.1. Создадим программу управления насосами ручном режиме.Двигатель насоса должен включаться при срабатывании копки "Пуск" и наличии  сигнала на входе "Ручной режим". Отключаться при нажатии кнопки "Стоп" и иналичии  сигнала на входе "Ручной режим", а также отдельно при отсутствии сигнала на входе "Ручной режим".Для этого используем RS-триггер, на вход которого (SET) подадим сигнал с кнопки "Пуск" (pusk1) и входа "Ручной режим" (ruhnoy1) через элемент AND (логическое "И"). Триггер будет срабатывать и переключать свой выход (Q1) только тогда, когда на обоих входах будут логические единицы (TRUE).Для того чтобы отключить насос на вход триггера (RESET1) должна прийти логическая единица (TRUE). В одном случае это происходит при наличии сигнала с копки "Стоп" (stop1) и одновременном присутствии сигнала на входе "Ручной режим" (ruhnoy1). Для этого они объединены элементом AND. Тут все аналогично, как и в случае процесса пуска насоса.Во втором случае логическая единица должна приходить на на вход триггера (RESET1) при отключенном переключателе и отсутствии сигнала на входе "Ручной режим", т. е. независимо в каком состоянии находится насос, при переводе переключателя из позиции "Ручной режим" в позицию "Автоматический режим", двигатель должен отключаться. Для этого инверсируем сигнал с входа ruhnoy1 и объединим их с сигналом отключения насоса через элемент OR (логическое ИЛИ).В этом случае на вход триггера (RESET1) может приходить логическая единица по двум путям. В первом случае она приходит с элемента AND, обеспечивающего отключение с кнопки и при отключении входа, связанного с установкой ручного режима. Во втором случае логический ноль (FALSE) превращается на выходе NOT в логическую единицу (TRUE).Рисунок 20. Реализация распределенной системы контроля и сбора данных вCodeSyS 2.3Так как у нас в схеме используется 2 насоса, работающие в ручном режиме одинаково, то добавим в программу еще один такой же фрагмент кода.  Рисунок 21. Реализация распределенной системы контроля и сбора данных вCodeSyS 2.32. Создадим программу для работы схемы в автоматическом режимеДля облегчения понимания работы схемы первоначально сделаем программу без учета переключателей выбора режима работы и выбора основного насоса, т.е. предположим что нам нужна схема, которая включает первый насос по второму датчику уровня, второй насос по третьему датчику. При срабатывании четвертого датчика включается сигнализация. Отключение обоих насосов выполняется после полного откачивания воды и срабатывании первого датчика уровня. Для этого нам понадобится два триггера RS, которые свяжут все нужные нам входы и выходы правильным способом.Рисунок 22. Реализация распределенной системы контроля и сбора данных вCodeSyS 2.3Но не все так просто, как кажется на первый взгляд. Если попробовать проверить эту программу в режиме эмуляции, имитируя при этом поочередное срабатывание контактов датчика уровня про подъеме воды, мы увидим, что при подъеме воды до второго датчика насос не включается. Виновник этого первый контакт датчика уровня, который подает сигнал на отключающий вход триггеров. Нам же нужно, что бы триггеры отключались только при отключении 1 контакта датчика уровня. Для этого нужно после контакта du1 поставить элемент NOT, который будет инверсировать сигнал от датчика и сбрасываться триггеры будут тогда только при отключении входного контакта.Рисунок 23. Реализация распределенной системы контроля и сбора данных вCodeSyS 2.3Теперь добавим в схему контакты переключателей автоматического режима работы. Двигатели насосов должны включаться только тогда, когда на входах, к которым подключены контакты этих переключателей имеется сигнал (логическая единица). Причем в цепи каждого из двигателей находится свой переключатель.Для этого в схему добавим 2 элемента AND, которые позволят включить насосы только при включенных выключателях в автоматическом режиме и 2 элемента OR которые свяжут ручной и автоматический режим. Благодаря им на выходы, управляющие пускателями насосов nasos1 и nasos2 может приходить сигнал как с триггеров ручного режима, так и с триггеров автоматического. Рисунок 24. Реализация распределенной системы контроля и сбора данных вCodeSyS 2.33. Добавим переключатель выбора насосаНа этом этапе осталось в схему добавить переключатель, который позволяет выбрать основной и резервный насос. Основной насос включается первым, резервный - вторым. Физически на переключателях в электрической схеме имеется 4 входа и 4 выхода. Мы будем использовать для подключении программируемому контроллеру 2 выхода. 2 других будут запараллелены 2-м основным.В программе для ПЛК нам нужно ввести 2 входных сигнала - "Основной 1 насос" (osnovn_1) и "Основной 2 насос" (osnovn_2). Сначала добавляем 2 элемента AND и связываем через них входы триггеров. На каждый элемент приходит сигнал от второго контакта датчика уровня и от своего входа переключателя.Аналогичные действия проводим с третьим контактом датчика и и входами переключателя. А для того чтобы на каждый включающий вход триггера завести по 2 сигнала добавим в схему еще дополнительно 2 элемента OR.Итоговая программа насосной станции с двумя откачивающими насосами для программируемого контроллера:Рисунок 25. Реализация распределенной системы контроля и сбора данных вCodeSyS 2.3Написанную программу даже при отсутствии программируемого контроллера можно проверить в режиме эмуляции в CodeSyS (Онлайн - Режим эмуляции - Подключение -  Ctrl+f7 - Пуск F5).Программа в режиме эмуляции в CodeSyS:Рисунок 26. Эмуляцияраспределенной системы контроля и сбора данных вCodeSyS 2.3ЗАКЛЮЧЕНИЕходе работы были изучены современные технологии Docker и Codesys, и на их основе была разработана система контроля и сбора данных на основе Python-скриптов.Основная функциональность реализована как у аналогичных систем планирования, но решение является более специализированным для автоматизации расчетов Data Science на Python, имея ряд преимуществ в данной сфере:Система полностью конфигурируется через UI и абстрагирует пользователя от технологий внутри, поэтому не нужно быть специалистом по этим технологиям для пользования системой.Система разграничивает роли авторизованного пользователя, что служит для совместной, но в тоже время изолированной работы команд, предоставляя функции для управления командными расчетами задач только для ответственной команды, а просмотр и возможность зависимости от их рассчитываемых задач для других команд.Система предоставляет ограничение ресурсов задач из коробки, работая на развернутой в компании системе Kubernetes, используя ресурсы кластера для расчета задач.Данная работа также представляет технический и научный интерес, так как решение построено на молодой, но быстро развивающейся платформе Kubernetes, на основе которой пока разработано относительно малое число решений. На примере использования возможностей Kubernetes в рамках работы для создания специализированной системы, решающей проблемы автоматизации ETL процессов и расчетов задач в области Data Science, можно найти применение этой технологии для решения задач и проблем в других сферахСреди дальнейших путей развития системы можно выделить:Поддержку ограничения ресурсов GPU для выполнения задач, так как все большее количество библиотек в области Data Science используют вычислительные ресурсы видеокарт для их расчета.Добавление специальных переменных окружения системы во время расчета задачи, таких как время запуска и условие, послужившее триггером запуска задачи, а также переменных окружения пользователя.Добавление дополнительных условий запуска задач для более гибкого планирования их расчета.СПИСОК ЛИТЕРАТУРЫДокументация Docker // [Электронный ресурс]: Docker. – URL: https://docs.docker.com/(Дата обращения: 25.03.2021)ДокументацияKubernetes// [Электронныйресурс]:Kubernetes.–URL:https://kubernetes.io/docs/home/(Дата обращения:25.03.2021)ДокументацияCodesys//[Электронныйресурс]:Codesys.–URL:https://Codesys.readthedocs.io/en/latest/(Дата обращения:26.03.2021)Документация Hadoop // [Электронный ресурс]: Apache Hadoop. – URL:https://hadoop.apache.org/docs/stable/(Дата обращения:26.03.2021)Документация Apache Airflow // [Электронный ресурс]: Apache Airflow. – URL:https://airflow.apache.org/docs/stable/(Дата обращения:26.03.2021)ДокументацияKubeflow//[Электронныйресурс]:Kubeflow.–URL:https://www.kubeflow.org/docs/(Дата обращения:26.03.2021)Документация Jupyter Notebook // [Электронный ресурс]: Project Jupyter. – URL:https://jupyter.org/documentation(Дата обращения:26.03.2021)Документация Docker Engine API // [Электронный ресурс]: Docker. – URL:https://docs.docker.com/engine/api/v1.40/(Дата обращения:17.03.2021)Документация Kubernetes API // [Электронный ресурс]: Kubernetes. – URL:https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.17/(Дата обращения:17.03.2021)Протокол STOMP // [Электронный ресурс]. – URL: http://stomp.github.io/stomp-specification-1.2.html(Дата обращения:20.03.2021)Спецификация JSON Web Token (JWT) // [Электронный ресурс]. – URL: https://tools.ietf.org/html/rfc7519(Дата обращения: 22.03.2021)Статья Clean Architecture // [Электронныйресурс]: MobileUp. – URL:https://habr.com/ru/company/mobileup/blog/335382/(Дата обращения: 23.03.2021)Документация Vue.js // [Электронный ресурс]: Vue. – URL: https://vuejs.org/v2/guide/ (Датаобращения: 25.03.2021)HTTP client axios // [Электронный ресурс]: axios. – URL: https://github.com/axios/axios(Дата обращения: 25.03.2021)Библиотека STOMP.js // [Электронный ресурс]: Jeff Mesnil. – URL: http://jmesnil.net/stomp-websocket/doc/(Дата обращения: 25.03.2021)БиблиотекаSockJS//[Электронныйресурс]:SockJS.–URL:https://github.com/sockjs/sockjs-client(Дата обращения:25.03.2021)Библиотека d3.js // [Электронный ресурс]: D3. – URL: https://github.com/d3/d3/wiki (Датаобращения: 25.03.2021)Библиотекаdagre-d3.js//[Электронныйресурс]:dagre.–URL:https://github.com/dagrejs/dagre-d3/wiki(Дата обращения:25.03.2021)Библиотека Plotly.js // [Электронный ресурс]: plotly. – URL: https://plotly.com/javascript/(Дата обращения: 25.03.2021)Фреймворк Spring // [Электронный ресурс]: Spring. – URL: https://spring.io/ (Датаобращения: 25.03.2021)Библиотека Java JWT // [Электронный ресурс]: JJWT. – URL: https://github.com/jwtk/jjwt(Дата обращения: 25.03.2021)HibernateORM//[Электронныйресурс]:Hibernate.–URL:https://hibernate.org/orm/documentation/5.4/(Дата обращения: 25.03.2021)СУБДPostgreSQL//[Электронныйресурс]:PostgreSQL.–URL:https://www.postgresql.org/docs/12/index.html(Дата обращения:25.03.2021)СУБД MongoDB // [Электронный ресурс]: MongoDB. – URL: https://www.mongodb.com/(Дата обращения: 25.03.2021)Docker Java Client // [Электронный ресурс]. – URL: https://github.com/docker-java/docker-java/wiki(Дата обращения: 25.03.2021)KubernetesClient//[Электронныйресурс]:fabric8.–URL:https://github.com/fabric8io/kubernetes-client(Дата обращения:25.03.2021)Библиотека для тестирования JUnit // [Электронный ресурс]: JUnit. – URL:https://junit.org/junit5/docs/current/user-guide/(Дата обращения:25.03.2021)Библиотека для тестирования Google Truth // [Электронный ресурс]: Google Truth. – URL:https://truth.dev/(Дата обращения: 25.03.2021)Библиотека для тестирования Mockito // [Электронный ресурс]: Mockito. – URL:https://site.mockito.org/(Дата обращения:25.03.2021)