СХД для реализация сервиса по прокату настольных игр.

Роли: - Мониторинг состояния системы (например, Prometheus, Grafana). - Сбор и анализ логов (например, ELK Stack: Elasticsearch, Logstash, Kibana).Ресурсы: - vCPU: 4. - RAM: 8 GB. - Диск: 100 GB (виртуальный диск на Yadro TATLIN.FLEX.ONE).Сеть: Подключение к внутренней сети для сбора данных со всех VM.Организация сети:Сегментация сети:1. Внутренняя сеть (Internal Network): - Сегмент для обмена данными между VM (Frontend, Backend, Database). - Высокоскоростное соединение для минимизирования задержек.2. Внешняя сеть (External Network): - Сегмент для подключения пользователей к приложению. - Защищенное соединение через SSL/TLS.3. Сеть для резервного копирования (Backup Network): - Отдельная сеть для передачи данных в VK Cloud для резервного копирования, чтобы минимизировать влияние на производительность основной сети.Управление виртуализацией:Hypervisor- KVM/QEMU: Встроенные в Astra Linux возможности виртуализации.Управляющий виртуализацией интерфейсыOpenNebula: - Управление виртуальными машинами. - Автоматизация и оркестрирование.oVirt: - Комплексное управление виртуализацией. - Интеграция со стандартами безопасности и аутентификации.Подключение к Yadro TATLIN.FLEX.ONE1. Использование интерфейсов iSCSI или NFS:- Настройка виртуализированной инфраструктуры на KVM для доступа к томам, предоставляемым Yadro TATLIN.FLEX.ONE(рис. 3.9 – 3.11).Рис. 3.9. Старт Tatlin CLIРис. 3.10. Настройка Tatlin CLIРис. 3.11. Создание подсети- Конфигурация хранилищ для виртуальных машин через интерфейсы iSCSI или NFS, обеспечивая высокую производительность и отказоустойчивость.3.2. СХДРассмотрим конфигурацию и шагов по развёртыванию:Шаг 1: Установка операционной системы1. Установка Astra Linux:- Установите Astra Linux Common Edition насерверыYadro VESNIN.- Настройка сетевых параметров и обновление системы.Шаг 2: Установка и конфигурация веб-серверов2. Установка Nginx:- Следуем инструкции по установке Nginx на Astra Linux из официального репозитория или сборки для Astra.- Настройка конфигурационных файлов Nginx для вэб-приложения.3. Настройка языка программирования и фреймворков:- Установка Node.js - Настройка виртуального окружения и установка необходимых зависимостей.Шаг 3: Установка и конфигурация базы данных4. Установка MySQL (или MariaDB):- Установка MySQL из официального репозитория Astra Linux.- Настройка конфигурационных файлов, создание необходимых баз данных и пользователей.Шаг 4: Настройка системы хранения данных (СХД)5. Настройка Yadro TATLIN.FLEX.ONE:- Подключение и настройка массива хранения данных Yadro СКАЛА.- Настройка RAID-массивов для отказоустойчивости и оптимальной производительности.Шаг 5: Резервное копирование и интеграция с VK Cloud6. Конфигурация резервного копирования:- Настройка регулярных резервных копий баз данных и критически важных данных.- Использование скриптов или инструментов для автоматизации бэкапа вобъектное хранилище VK Cloud.Итоговая структура:1. Оборудование:- Серверы: Yadro VESNIN.- СХД: YadroTATLIN.FLEX.ONE.2. ОС:- Astra Linux.3. СУБД:- MySQL.4. Облачные сервисы:- VK Cloud.3.3. Сеть с планированием для стендаДля реализации проекта СХД сервиса по прокату настольных игр и обеспечения высокой производительности, масштабируемости и отказоустойчивости, необходимо тщательно спланировать и организовать сетевую инфраструктуру. В данномпараграфе описано подробное планирование сети для стенда, включая физическую и логическую организацию, выбор оборудования и настройку сетевых компонентов.1. Обзор Сетевой ИнфраструктурыЦель: Обеспечить высокую производительность сети для взаимодействия компонентов СХД, серверов, базы данных и конечных пользователей.Требования:- Высокая пропускная способность (минимум 10 Gbps для внутренней сети).- Низкая задержка.- Отказоустойчивость и возможность быстрого восстановления.- Безопасность и сегментация сети.2. Физическое Планирование2.1. Серверная КомнатаРасположение: Серверы и сетевое оборудование будут размещены в специально подготовленной серверной комнате (за основным офисом).Помещение: Обеспечено кондиционирование, бесперебойное питание (UPS) и система пожаротушения (окон в помещении нет).2.2. Кабельная ИнфраструктураТип Кабеля: Использование кабелей Cat 6a или выше для медной проводки; при использовании оптоволокна — OM3 или OM4.Структура: Топология «звезда» с центральным коммутатором, обеспечивающим соединение всех компонентов сети.3. Логическое Планирование3.1. Сегментация СетиДля обеспечения безопасности и производительности сеть сегментируется на несколько виртуальных локальных сетей (VLAN):VLAN 10 - Административная сеть: предназначена для управления серверами и сетевым оборудованием.VLAN 20 - Пользовательская сеть: для устройств и пользователей, взаимодействующих с сервисом.VLAN 30 - Серверная сеть: для взаимодействия серверов и СХД.VLAN 40 - Репликация и резервное копирование: для передачи данных между основными и резервными хранилищами.3.2. IP-ПланированиеАдресное пространство:VLAN 10: 192.168.10.0/24VLAN 20: 192.168.20.0/24VLAN 30: 192.168.30.0/24VLAN 40: 192.168.40.0/244. Выбор Оборудования1. Коммутаторы L3:- Cisco Catalyst 9300 Series (2 шт. для высокой доступности, отечественных аналогов с полным соответсвием функционала нет)2. Коммутаторы L2:- Cisco Catalyst 9200 Series (2-3 шт. для подключения серверов и СХД)3. Маршрутизаторы:- Cisco ISR 4000 Series (2 шт. для управления внешним доступом)4. Файрволлы:- Cisco Firepower NGFW (Next-Generation Firewall)- Palo Alto Networks PA-220 для защиты сети.5. Интерфейсы и модули:- 10GBASE-T/40GBASE-T модули и интерфейсы для высокой пропускной способности.5. Настройка сети и внедрение5.1. Коммутаторы L3Настройка межсетевого обмена и маршрутизации между VLAN:...plaintextenableconfigure terminalvlan 10name Adminvlan 20name Uservlan 30name Servervlan 40name Backupinterface range GigabitEthernet1/0/1-24switchport mode accessswitchport access vlan 30interface range TenGigabitEthernet1/1/1-4switchport trunk encapsulation dot1qswitchport mode trunkinterface Vlan10ip address 192.168.10.1 255.255.255.0interface Vlan20ip address 192.168.20.1 255.255.255.0interface Vlan30ip address 192.168.30.1 255.255.255.0interface Vlan40ip address 192.168.40.1 255.255.255.0ip routingexit...5.2. Коммутаторы L2Настройка доступа для серверов и СХД:...plaintextenableconfigure terminalinterface range GigabitEthernet1/0/1-24switchport mode accessswitchport access vlan 30interface range GigabitEthernet1/0/25-28switchport mode trunk...5.3. ФайрволлыНастройка доступа и правил безопасности:...plaintextconfigure terminalaccess-list 100 permit ip 192.168.20.0 0.0.0.255 anyaccess-list 100 deny ip any anyinterface GigabitEthernet0/0ip address 192.168.10.254 255.255.255.0ip access-group 100 in...3.4. Механизмы повышения доступности отказоустойчивости выбранной инфраструктурыРассмотрим общие положения:Самым простым и очевидным способом избежать простоя из-за неисправности является резервирование – то есть такая избыточность оборудования, которая позволит продолжить работу при выходе его части из строя.Резервирование достаточно широко применяется уже на нижнем уровне – самого устройства, то есть - в самих серверах. Многие их узлы дублируются, либо имеют такую возможность. Например, современные серверы предоставляют следующие возможности по резервированию:Серверы имеют особый режим работы памяти: Memory Mirroring или Mirrored memory protection. В этом режиме осуществляется зеркалирование каналов, то есть каналы разбиваются на пары, и в каждой паре один из каналов становится копией другого. Все банки памяти при этом должны быть сконфигурированы идентично.Работа в этом режиме защищает от однобитовых ошибок или выхода из строя всего модуля памяти.При работе в режиме зеркалирования памяти одни и те же данные записываются в банки системной и зеркалированной памяти, но считываются только из банков системной памяти. Если в каком-то из модулей системной памяти произошла многобитовая ошибка (или превышено допустимое количество однобитовых ошибок), то происходит переназначение банков: банки зеркалированной памяти назначаются системной памятью, а банки системной - зеркалированной. Это обеспечивает бесперебойную работу сервера за исключением случаев, когда ошибка происходит в одном и том же месте в системном и зеркалированном модулях памяти одновременно (вероятность этого крайне мала).Недостатком такой организации является двукратное уменьшение объёма оперативной памяти. Или, иными словами, двукратное увеличение ее стоимости.Аналогично оперативной памяти можно организовать зеркалирование дисков. Для этого каждому диску назначается дубликат, который содержит его полную копию благодаря тому, что информация одновременно записывается на диск и дублирующую его копию. В простейшем случае такая система состоит из двух одинаковых дисков.Однако, как и в случае с зеркалированием оперативной памяти, недостатком такой организации является высокая (фактически – двойная) стоимость ресурсов. Поэтому часто используются другие варианты организации дисков в единые массивы (RAID). Существует достаточно много вариантов организации RAID-массивов, которые имеют различные параметры стоимости, скорости работы и степени отказоустойчивости.Таким образом, отказоустойчивость сервера может быть повышена путем резервирования некоторых его узлов, как только что было описано. Но есть компоненты, которые задублировать невозможно. К ним относятся, в частности, RAID-контроллер и материнскаяплата. Выход из строя RAID-контроллера может привести к частичной или полнойпотере данных, а выход из строя материнской платы приведет к остановке всегосервера.Поэтому для каждой инфраструктуры используються свои методы. Поэтому рассмотри текущий проект СХД.Для обеспечения высокой доступности и отказоустойчивости инфраструктуры сервиса по прокату настольных игр следующие механизмы и практики:1. Аппаратные меры1.1.Использование высоконадежного оборудованияВ работе используються серверы Yadro VESNIN:- Высокопроизводительные и отказоустойчивые серверы для обработки запросов и хранения данных.- Дублирование критических компонентов (блоки питания, сетевые интерфейсы).Системы хранения данных Yadro:- RAID конфигурации: использование RAID 10 или RAID 6 для защиты данных от отказа дисков.- Масштабируемость: создать возможность увеличения объема хранения без простоев системы.1.2. Источники бесперебойного питания (ИБП)- ИБП: исключение потерь данных и простоев системы при перебоях в электропитании, защита оборудования от скачков напряжения.2. Программные меры:Виртуализация и управление виртуальными машинамиKVM/QEMU и управляющие интерфейсы (OpenNebula/oVirt):- Обеспечение возможности миграции виртуальных машин между отдельными узлами без простоев.- Автоматическое восстановление виртуальных машин на других узлах в случае отказа оборудования.3. Репликация и отказоустойчивость базы данных3.1. MySQL репликацияMaster-Slave репликация:- Настройка репликации базы данных MySQL для создания резервных копий на других узлах.- Master-Master репликация:3.2. Обеспечение высокой доступности и нагрузки распределения запросов на запись между несколькими мастер-серверами.3.3.Автоматический фейловерСредства автоматической смены ролей (failover):- Использование инструментов, таких как MHA (Master High Availability Manager) для MySQL, позволяющих быстро переключать роли мастер/слейв в случае сбоя одной из реплик.4. Сетевые меры4.1. Сетевые интерфейсы и балансировка нагрузкиДублирование сетевых интерфейсов:- Использование нескольких сетевых интерфейсов на каждом сервере для обеспечения отказоустойчивости сетевого подключения.4.2. Балансировка нагрузки:- Использование балансировщиков нагрузки (например, Nginx или HAProxy) для распределения входящих запросов на несколько серверов.- Балансировка нагрузки устраняет проблему единичной точки отказа и распределяет нагрузку на несколько серверов.5. Резервное копирование и восстановление5.1. Регулярные резервные копии5.1.2. Резервное копирование данных во VK Cloud:- Настройка регулярного резервного копирования важнейших данных и баз данных во внешнее хранилище (VK Cloud). Это позволяет иметь внешнее резервное копирование, недоступное в случае отказа основной инфраструктуры.5.1.3.Системы резервного копирования и восстановления:5.2. Использование инструментов резервного копирования, таких как Percona XtraBackup или Bacula, для создания автоматических и регулярных резервных копий.5.3. Проверка и тестирование процесса восстановления данных для обеспечения их целостности и доступности.6. Мониторинг и реагирование6.1.Мониторинг системы6.1.1.Системы мониторинга:- Использование систем мониторинга (например, Prometheus и Grafana) для постоянного контроля состояния серверов, сетевых компонентов и базы данных.6.2. Анализ логов:- Сбор и анализ логов системы с использованием ELK Stack (Elasticsearch, Logstash, Kibana) для обнаружения аномалий и быстрого реагирования на инциденты.7. Организационные меры7.1.План восстановления после аварий- Разработка и тестирование плана восстановления после аварий, включая процедуры восстановления данных и миграции на резервные узлы.7.2. Обучение персонала7.2.1.Подготовка и обучение:- Обучение ИТ-персонала работе с системами мониторинга, резервного копирования и восстановления (на данный момент с учетом 3 сотрудников данная мера легко внедряемая).7.2.2. Проведение регулярных тренировок и тестирования плана восстановления после аварий.Итоговая архитектура повышения отказоустойчивости и доступности:1. Аппаратные меры: Надежное оборудование, системы хранения данных с RAID конфигурацией, источники бесперебойного питания.2. Виртуализация и управление: Использование KVM/QEMU и управляющих интерфейсов для автоматической миграции и восстановления виртуальных машин.3. Репликация БД и автоматический фейловер: Настройка Master-Slave, Master-Master репликации и автоматического фейловера для MySQL.4. Сетевые интерфейсы и балансировка: Использование балансировщиков нагрузки, дублирования сетевых интерфейсов.5. Резервное копирование: Регулярное резервное копирование данных во VK Cloud и проверка восстановления.6. Мониторинг и реагирование: Системы мониторинга и анализа логов для обеспечения непрерывного контроля.7. Организационные меры: План восстановления после аварий и обучение персонала.3.5. Метрики и инфраструктураДля обеспечения эффективного мониторинга и управления СХД, а также сетевой и серверной инфраструктуры, необходимо собирать и анализировать разнообразные метрики. Эти метрики помогут в выявлении проблем, оптимизации производительности и обеспечении безопасности системы.Основные метрики, которые следует мониторить:1. Сетевые метрики:- Пропускная способность (Bandwidth): Измеряется в Гбит/с. Показывает, сколько данных проходит через сеть за заданный период времени.- Интенсивность трафика (Traffic Load): Объем данных, переданных через сеть в определенное время.- Задержка (Latency): Время, за которое пакет данных проходит от отправителя до получателя.- Потери пакетов (Packet Loss): Процент потерянных пакетов данных.- Ошибки интерфейсов (Interface Errors): Количество ошибок на сетевых интерфейсах коммутаторов и маршрутизаторов.2. Серверные метрики:- Загрузка процессора (CPU Load): Процент использования процессора.- Использование памяти (Memory Usage): Процент занятой оперативной памяти.- Ввод/вывод на диск (Disk I/O): Операции чтения/записи на диск, измеряется в IOPS.- Температура компонентов (Temperature): Температура процессоров, дисков и других компонентов.3. Метрики базы данных MySQL: - Запросы в секунду (Queries per Second): Количество запросов, обрабатываемых MySQL сервером в секунду.- Задержка запросов (Query Latency): Среднее время, затрачиваемое на выполнение запросов.- Производительность сессий (Session Performance): Количество активных сессий и их производительность.- Использование таблиц и индексов (Table and Index Usage): Производительность индексов и таблиц, количества сканирований.4. Метрики СХД:- Латентность доступа к данным (Data Access Latency): Время задержки при чтении/записи данных.- Производительность дисков (Disk Throughput): Количество данных, прочитанных или записанных за единицу времени.- Утилизация хранилища (Storage Utilization): Процент занимаемого пространства.- Загрузка файловой системы (Filesystem Load): Количество операций чтения-записи и их производительность.Протоколы для сбора метрик:Использование правильных протоколов и инструментов для сбора метрик играет ключевую роль в мониторинге системы. В данном проекте рекомендованы следующие методы и протоколы:1. SNMP (Simple Network Management Protocol):- Стандартный протокол для мониторинга сетевых устройств, таких как коммутаторы, маршрутизаторы, и файрволлы. С его помощью можно собирать метрики пропускной способности, трафика, состояния интерфейсов и т.д.Пример конфигурации SNMP для сбора метрик с сетевого коммутатора:...plaintextsnmp-server community public ROsnmp-server enable trapssnmp-server host public...2. Agent-based Monitoring (например, Prometheus Node Exporter):- Установка агентов на сервера и устройства для сбора метрик, таких как загрузка CPU, память, диск и сеть.Примернастройки Prometheus Node Exporter:...plaintextwget https://github.com/prometheus/node_exporter/releases/download/v*/node_exporter-*.linux-amd64.tar.gz tar xvfz node_exporter-*.linux-amd64.tar.gz cd node_exporter-*.linux-amd64./node_exporter...3. Database Monitoring Tools (например, Percona Monitoring and Management для MySQL):- Инструменты для мониторинга производительности и здоровья баз данных, включая метрики выполнения запросов, использования индексов, задержек и активных сессий.ПримерустановкиPercona Monitoring and Management:...plaintext docker pull percona/pmm-server:2 docker create -v /srv --name pmm-data percona/pmm-server:2 /bin/true docker run -d -p 80:80 --volumes-from pmm-data --name pmm-server percona/pmm-server:2 docker run -d -v /srv:/srv --name pmm-client \ --env PMM_USER="admin" \ --env PMM_PASS="password" \ --env PMM_AGENT_SERVER="example.com" \ --net="host" percona/pmm-client:2...4. Syslog:- Протокол для передачи логов и сообщений событий с оборудования и серверов на центральный сервер для анализа.Пример конфигурации syslog для сетевого коммутатора:...plaintext logging trap informational logging host ...Интеграция мониторинга и визуализация:Для полноценного мониторинга и визуализации данных, собранных с инфраструктуры, рекомендуется использовать следующие инструменты:1. Prometheus:- Инструмент для сбора и хранения метрик, с поддержкой различных экспортеров для разных типов данных.2. Grafana (рис. 3.12):Рис. 3.12. Скриншоп ПО- Мощная платформа для создания визуальных дашбордов и анализа метрик, собранных из различных источников, таких как Prometheus, MySQL и другие.Пример интеграции Prometheus и Grafana:...plaintext# prometheus.ymlglobal:scrape_interval: 15sscrape_configs: - job_name: 'node_exporter'static_configs: - targets: [':9100']# Grafana setupdocker run -d -p 3000:3000 --name=grafanagrafana/grafana# Access Grafana web interface at http://:3000# Add Prometheus data source using the Prometheus server URL...ЗАКЛЮЧЕНИЕВ данной курсовой работе была разработана и спроектирована система хранения данных (СХД) для реализации сервиса по прокату настольных игр. Основная цель проекта заключалась в создании надежной, масштабируемой и высокопроизводительной инфраструктуры для хранения и управления данными, необходимыми для функционирования сервиса, обслуживающего до 300 пользователей.Проект предусматривал:- Обеспечение эффективного хранения и управления данными пользователей и сервисными данными.- Гарантию отказоустойчивости и высокой доступности системы.- Обеспечение безопасности данных и их защиты от несанкционированного доступа.- Масштабируемость системы для дальнейшего роста числа пользователей и объема данных.В процессе работы били разработаны решения, использующие следующие методы и технологии1. Режимы доступа к данным:- Файловый доступ: Используется для хранения документов, изображений и логов.- Объектный доступ: Предназначен для хранения больших бинарных объектов, таких как видео и фотографии.- Блочный доступ: Применяется для баз данных и приложений, требующих высокой производительности и низкой задержки.2. Объём данных и доступ:- На основе расчёта потребности в хранилище, был определен общий объём данных около 90 ГБ (это текущий объем данных в компании).- Система была спроектирована для обработки 15,000 операций в секунду (IOPS), что обеспечивает плавную и быструю работу сервиса.3. Отказоустойчивость:- Для обеспечения отказоустойчивости использованы две СХД (основная и резервная).- Настроена репликация данных и регулярное резервное копирование, что позволяет быстро восстановить систему в случае сбоя.Было выбрано оборудование и программное обеспечение1. СХД и серверы:- В проекте использованы виртуальные машины в облачной инфраструктуре VK Cloud с высокой производительностью и низкой задержкой.- Основная и резервная системы хранения данных, каждая с 1 ТБ SSD для обеспечения надежного и быстрого доступа к данным.2. База данных MySQL:- Основная и резервная инстансы базы данных MySQL были настроены для управления данными пользователей и транзакциями.- Основной инстанс: 4 vCPUs, 16 ГБ RAM, 500 ГБ SSD.- Резервный инстанс: 4 vCPUs, 16 ГБ RAM, 500 ГБ SSD, с настройкой репликации.3. Сетевое оборудование от помпании Yadro/Были разработаны методы по интеграции и безопасности:1. Аутентификация и авторизация:- Интеграция с VK Cloud для управления доступом и контроля прав пользователей.2. Мониторинг и управление:- Использованы инструменты мониторинга, такие как Prometheus и Grafana, для анализа производительности системы.- Ежедневное резервное копирование данных и настройка политики резервирования обеспечивают сохранность данных.Разработка и внедрение СХД для сервиса по прокату настольных игр с использованием VK Cloud и соответствующего сетевого оборудования позволили создать надежную, масштабируемую и безопасную инфраструктуру. Система готова к дальнейшему росту числа пользователей и увеличению объема данных, обеспечивая при этом высокую производительность и отказоустойчивость.В работе стояла задача подбора отечественных аналогов как программных, так и аппаратных средст, что и было сделано.Проектирование и настройка такой комплексной системы являются важными этапами, которые требуют глубоких знаний в области IT-инфраструктуры, сетевых технологий и управления данными. Реализация данной системы предоставляет пользователям стабильный и надежный сервис, способствующий успешному функционированию бизнеса. Все цели и задачи курсовой работы достигнуты.СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫAdrienne H. Slaughter. OLAP. 2004Celko Joe. Analytics and OLAP in SQL. Morgan Kaufmann, 2006Абдихалык Ш.С. Методы и средства моделирования атак в больших компьютерных сетях // Студенческий вестник. 2023. № 16-11 (255). С. 51-57.Абдулкадыров У.У., Джабраилов И.А., Амерханова З.Ш. Технологии информационной безопасности компьютерных сетей и тенденции их развития // Журнал прикладных исследований. 2023. № 6. С. 25-29.Абрамов А.Г. Концептуальный взгляд на архитектуру сервисной платформы национальной исследовательской компьютерной сети России // Информационные технологии. 2022. Т. 28. № 2. С. 68-74.Абуков Ш.З., Евдокимова К.В., Евдокимов В.О., Куракова Н.Ю. Анализ и оценка эффективности интегрированного сетевого трафика телекоммуникационной и компьютерной сети // Экономика и предпринимательство. 2022. № 11 (148). С. 1371-1374.Агальцов, В. П. Базы данных : Учебник для вузов / В. П. Агальцов. -М. : ФОРУМ, 2011 - 270 с.Алексахин А.Н., Алексахина С.А., Батищев А.В., Буланова Т.А., Захаров А.В., Корепанова В.С., Люблинская Н.Н., Мекшенева Ж.В., Нечаев А.М., Филимонова Е.В., Чантурия Г.Т., Чепрасова А.С., Култыгин О.П., Малиничев Д.М., Прокимнов Н.Н., Ратанова О.В., Ребус Н.А., Терехова Л.А., Трубин А.Е., Дорофеев О.В. и др. Компьютерные сети. Учебник / Москва, 2023.Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И.Методы и модели анализа данных: OLAP и Data Mining. – СПб.: БХВ-Петербург, 2004 – 336 сБеленькая, М. Н. Администрирование в информационных системах: Учебник для вузов / М. Н. Беленькая, С. Т. Малиновский, Н. В. Яковенко. - М.: Горячая линия - Телеком, 2011 - 400 с.Белов А.С., Добрышин М.М., Струев А.А., Горшков А.А. Модель компьютерной сети, функционирующая в условиях деструктивных программных воздействий и учитывающая требуемый уровень восстанавливаемости // Известия Тульского государственного университета. Технические науки. 2022. № 2. С. 83-89.Белов, В. В. Проектирование информационных систем : Учебникдля вузов / В. В. Белов, В. И. Чистякова. - М. : Академия, 2013 - 352 с.Бруй И.Ю. Кибербезопасность компьютерных сетей военного назначения // Новые информационные технологии в телекоммуникациях и почтовой связи. 2023. Т. 1. № 1. С. 252-253.Вигерс К. Битти Д. Разработка требований к программномуобеспечению, издание третье, 2014 – 737с.Винокуров И.В. Компьютерные сети и телекоммуникации. Учебное пособие для СПО. Саратов, Москва, 2022.Дейт, К.Дж. Введение в системы баз данных / К.Дж. Дейт. - М.: Диалектика / Вильямс, 2016. - 195 c.Дмитрий, Эйдензон Метод и система визуализации многомерных данных / Эйдензон Дмитрий , Дима Шамрони und Виталий Воловоденко. - М.: LAP Lambert Academic Publishing, 2013. - 475 c.Дятлов П.А. Принципы построения и организация компьютерных сетей. Ростов-на-Дону ; Таганрог, 2022Жуковский О.И. Хранилища данных. Учебное пособие. – 2015 – 112Избачков, Ю.С. Информационные системы. Учебник для вузов /Ю.С. Избачков, В.Н. Петров. 2-е изд. – СПб.: Питер, 2005 – 739 сКислицын, А. С. Научные и практические основы создания корпоративной системы связи и передачи данных нефтяной компании "ЛУКОЙЛ" / А.С. Кислицын. - М.: Радиотехника, 2017. - 360 c.Мария, Мазорчук und Виктория Добряк Анализ данных в информационных образовательных системах / Мария Мазорчук und Виктория Добряк. - М.: LAP Lambert Academic Publishing, 2012. - 164 c.Нартова А. PowerDesigner 15 Моделирование данных, 2012 - 480с.Пирогов, В. Ю. Информационные системы и базы данных. Организация и проектирование / В.Ю. Пирогов. - М.: БХВ-Петербург, 2009. - 528 c.Пирогов, В. Ю. Информационные системы и базы данных. Организация и проектирование / В.Ю. Пирогов. - Москва: Высшая школа, 2009. - 528 c.ПолубояровВ.В. ИспользованиеMSSQLServerAnalysisServices2008 для построения хранилищ данных – 2008 -487с.Рзаев, Рамин Интеллектуальный анализ данных в системах поддержки принятия решений / Рамин Рзаев. - М.: LAP Lambert Academic Publishing, 2013. - 136 c.Сарка Д. Microsoft SQL Server 2012 Реализация хранилищ данных.– 2014 – 816сСергей, Семенов Защита данных в компьютеризированных управляющих системах / Семенов Сергей , Вячеслав Давыдов und Светлана Гавриленко. - М.: LAP Lambert Academic Publishing, 2019. - 244 c.Смелянский, Р. Л. Компьютерные сети. В 2 томах. Том 1. Системы передачи данных / Р.Л. Смелянский. - М.: Academia, 2019. - 304 c.Советов Б. Я. Архитектура информационных систем : Учебник длявузов / Б. Я. Советов, А. И. Водяхо, В. А. Дубенецкий. - М. : Академия, 2012 -288 с.ТумановВ.Е.МаклаковС.В.Проектированиереляционныххранилищ данных – 2007 – 333с.Фёдор, Третьяков und Лия Серебряная Аналитическая обработка данных о деятельности персонала в ERP-системе / Фёдор Третьяков und Лия Серебряная. - М.: LAP Lambert Academic Publishing, 2014. - 124 c.