Системы управления кластерами

Этот файл содержит все необходимые данные для восстановления задачи и выполняемый код, осуществляющий такое восстановление. Таким образом, файл контрольной точки является обычной программой, которая при запуске восстанавливает исходный процесс.
Система EnFuzion - это набор приложений для выполнения пакетных задач на кластерах с большим количеством узлов. EnFuzion была разработана а рамках исследовательского проекта Nimrod, выполнявшегося профессором Д. Абрамсоном в Австралийском университете Monash, в конце 90х годов. Затем система превратилась в коммерческий продукт и широко распространилась. Система способна распределять пакетные задания для кластеров, содержащих от нескольких десятков до нескольких сотен узлов. Она имеет центральный выделенный узел, управляющий всеми остальными машинами в кластере. Система может функционировать как в пределах локальной сети, так и в масштабах Internet.
МО SIX является набором дополнений к ядру Linux, который позволяет распределять процессы между узлами в составе кластера. MOSIX состоит из двух частей:
миграция процессов;
набор алгоритмов для эффективного динамического распределения ресурсов.
Каждая из частей реализована на уровне ядра ОС и прозрачны для конкретного ПО. Миграция реализована следующим образом. Процесс разделен на два контекста:
для пользователя;
системный.
Первый содержит сегмент кода, стек, сегмент данных, содержимое регистров. Системный контекст содержит информацию об используемых ресурсах и стек ядра. Интерфейс между пользовательской и системной частями устанавливается на сетевом уровне. Пользовательская часть может мигрировать, системная часть жестко привязана к узлу, на котором был запущен процесс. При этом время миграции состоит из:
фиксированной части с формированием нового образа процесса на удаленном узле;
изменяющейся части, которая пропорциональна количеству передаваемых в связи с миграцией страниц памяти.
Схема взаимодействия этих компонент представлено на рис. 4.
Система LoadLeveler – это модифицированная версия системы Condor. В отличие от своего предшественника, система имеет много дополнительных возможностей.










Рисунок 4 – Внешний вид схемы взаимодействия этих компонент

Система имеет встроенную подсистему статической балансировки, которая позволяет при помощи разнообразных способов осуществлять распределение поступающих от пользователя задач. В ней также существует программный интерфейс пользователя (API), при помощи которого возможно реализовать различные приложения, использующие возможности этой системы.
Система LSF является набором приложений для администрирования и управления кластером рабочих станций. Она состоит из подсистем:
LSF Batch ;
LSF JobScheduler;
LSF MultiCluster;
LSF Parallel;
LSF Make;
LSF Analyzer
основной подсистемы LSF Base.
Ее архитектура устроена следующим образом. Базовая система управления кластерами включает в себя:
менеджер загрузки (LIM)
сервер удаленного выполнения RES.
LSF Base взаимодействует с ОС на каждом из узлов кластера и предоставляет единый интерфейс (API) для всех остальных компонент системы управления и пользователя, называемый Load Sharing LIBrary (сокращенно LSLIB). Менеджер загрузки собирает всю необходимую информацию с узла и обменивается ею с менеджерами, работающими на других узлах. Один из таких менеджеров является центральным и имеет в распоряжении информацию, собранную со всех остальных узлов, что схематично изображено на рис. 5.










Рисунок 5 – Внешний вид схемы взаимодействия компонент в системе управления кластерами LSF
Система управления очередями Cleo предназначена для управления прохождением задач на многопроцессорных вычислительных установках. Это отечественная разработка, созданная в НИВЦ МГУ. С ее помощью можно осуществлять
распределение вычислительных ресурсов между ПО,
управление порядком их запуска, временем работы,
получение информации про состояние очередей.
Система написана на языке программирования Perl, является достаточно простой как в реализации, так и в использовании.
Системы PBS и PBS Pro являются наследниками системы NQS [36], одной из первых систем управления кластерами. Иерархия этих систем управления схематично изображена на рис. 6.



Рисунок 6 – Внешний вид схемы иерархии систем управления кластерами

Системы PBS и PBS Pro были созданы в подразделении американского космического агентства (NASA). Изначальным требованием к системе PBS помимо функциональности было удобство переноса системы на разные платформы. Она удовлетворяет стандарту POSIX 1003.2d и работает с ОС: Sun - Solaris, Thinking Machines – CMOST, Cray Unicos, SGI - IRIX, Intel - OSF/l-AD и прочими.
В ней можно настраивать политику распределения заданий, и может работать с многими узлами.
Система может обслуживать несколько потоков очередей, которые разделены как по архитектуре вычислительных узлов, так и по требуемым ПО ресурсам. Определения ресурсов могут быть созданы администратором системы управления кластерами, и затем использоваться планировщиком при распределении заданий. При ее использовании можно обеспечить взаимодействие между несколькими кластерами при помощи глобальной сети, имеет графический интерфейс пользователя и WEB интерфейс для отправки заданий. В ней также имеются самые разные способы указания зависимостей между запускаемым ПО.


Заключение

В заключении отметить, что в данной работе рассмотрены несколько разных систем управления кластеров, имеющих ряд своих особенностей. Наибольший практический интерес представляют такие системы PBS Pro и Condor.
Система Condor сможет обеспечить максимально простой способ использования простаивающих рабочих станций. Она может полезна многим ИТ-предприятиям, например, в случае компилирования и сборки крупных программных проектов. Рабочие станции как свободный ресурс должен контролировать пользователь. В системах данного вида можно работу с большим количеством узлов.
Системы PBS и PBS Pro могут быть удобны для организаций, имеющих разнородные кластеры с большим количеством узлов, в том числе суперкомпьютеров, и большое количество пользователей.
В данной работе достигнута основная цель – описаны системы управления кластерами.
В данном реферате были решены следующие задачи:
привести историю создания кластерных систем;
описать основные функции и особенности систем управления кластерами;
описать особенности реализации систем управления кластерами;
привести сравнительный анализ наиболее распространенных систем управления кластерами.
Также в процессе написания реферата были использованы современные и классические источники литературы и глобальной сети Internet.

Список использованной литературы

Костенко О.В. Стратегия развития кластера. Монография. — Киров: Вятская ГСХА, 2017. – 164 с.
Околов А.Р., Дрозд А.В., Гутич И.И. Системы автоматизированного контроля. Учебно-методическое пособие. — Минск: Белорусский национальный технический университет, 2018. — 55 с.
Управление вычислительными ресурсами Сибирского Суперкомпьютерного Центра. Б.М. Глинский, И.Г. Черных, Н.В. Кучин, С.В. Ломакин, И.Н. Макаров. Суперкомпьютерные дни в России 2015. – С.667-675
Шпаковский Г.И. Реализация параллельных вычислений. Кластеры, многоядерные процессоры, грид, квантовые компьютеры. Минск: БГУ, 2011. — 176 с.
Настройка межсетевых экранов ТС-Фактор под управлением операционной системы Dionis NX C 1.2-10. Руководство по настройке ПО на базе операционной системы (программной оболочки). Dionis NX C 1.2-10 Hand UTM, 2015. 514 с.
Немнюгин С.А. Введение в программирование на кластерах. 2-е изд., испр. — Москва: НОУ ИНТУИТ, 2016. — 247 с.
Ефимушкина Н.В., Орлов С.П. Организация вычислительных машин и систем. 2-е изд., перераб. и доп. — Самара: Самар. гос. техн. ун-т, 2016. — 280 с.
Система управления кластерами. А.И. Аветисян, Д. А. Грушин, А.Г. Рыжов. Proceedings of the Institute for System Programming, vol. 3 (in Russian), 2002, Стр. 39 – 62.








2