Abstract:
The paper addresses to the problem of integration of heterogeneous computing clusters to the united environment
based on a virtualization technology. OpenStack software is selected as a platform for managing the virtual
environment. The OpenStack platform provides a wide range of components and solutions to a functional interaction
with different hypervisors. These include KVM, XEN, ESXi, QEMU and other systems. In addition to the Open-
Stack platform, we developed a specialized hypervisor shell. It helps to start virtual machines using queues of the
traditional resource management systems, such as PBS, SLURM, LSF, or SGE, that are used on clusters of a center
of collective usage. The developed model of the resource allocation for virtual machines allowed us to use the
knowledge about job requests, resource characteristics and current state of the environment, and the expertise of it
administrators. The realized tools provide the capability for the “painless” integration of heterogeneous clusters with
the preinstalled local resource managers for creating the virtual cluster with the required configuration. Extensive
modeling shows that the hypervisor shell can improve efficiency of integrated environment nodes through reallocating
virtual machines to queues of the traditional resource management systems. Статья посвящена проблеме интеграции разнородных вычислительных кластеров в единую среду на основе технологий виртуализации. В качестве платформы управления виртуальной средой выбран программный комплекс OpenStack. Данный комплекс обеспечивает широкий набор компонентов и функциональных
решений для взаимодействия с различными гипервизорами. В их числе KVM, XEN, ESXi, QEMU и другие
системы. В дополнение к программному комплексу OpenStack разработана специализированная оболочка гипервизора, обеспечивающая запуск виртуальных машин из очередей традиционных систем управления заданиями, например, PBS, SLURM, LSF или SGE, используемых на кластерах суперкомпьютерного центра коллективного пользования. Разработанная модель распределения ресурсов для виртуальных машин позволяет
использовать знания о заданиях, характеристиках ресурсов и текущем состоянии виртуальной вычислительной среды, а также опыт ее администраторов. Реализованные инструменты обеспечивают возможность «безболезненной» интеграции разнородных вычислительных кластеров, использующих различные системы управления заданиями, в виртуальный кластер с требуемой конфигурацией. Модельные эксперименты показывают,
что оболочка гипервизора позволяет повысить коэффициент полезного использования узлов интегрированной
среды путем переназначения виртуальных машин в очереди традиционных систем управления заданиями.
Descrizione:
A.G. Feoktistov, I.A. Sidorov, V.V. Sergeev,
R.O. Kostromin, V.G. Bogdanova
Matrosov Institute for System Dynamics and Control Theory of SB RAS
(Lermontova str., 134, Irkutsk, 664033, Russia)
E-mail: agf@icc.ru, ivan.sidorov@icc.ru, vvsergeev@mail.ru, kostromin@icc.ru, bvg@icc.ru. Феоктистов Александр Геннадьевич, к.ф.-м.н., доцент, лаборатория параллельных и
распределенных вычислительных систем, Институт динамики систем и теории управления им. В.М. Матросова СО РАН (Иркутск, Российская Федерация)
Сидоров Иван Александрович, к.ф.-м.н., доцент, лаборатория параллельных и распределенных вычислительных систем, Институт динамики систем и теории управления
им. В.М. Матросова СО РАН (Иркутск, Российская Федерация)
Сергеев Вадим Викторович, аспирант, лаборатория параллельных и распределенных
вычислительных систем, Институт динамики систем и теории управления им. В.М. Матросова СО РАН (Иркутск, Российская Федерация)
Костромин Роман Олегович, аспирант, лаборатория параллельных и распределенных
вычислительных систем, Институт динамики систем и теории управления им. В.М. Матросова СО РАН (Иркутск, Российская Федерация)
Богданова Вера Геннадьевна, к.ф.-м.н., доцент, лаборатория параллельных и распре
деленных вычислительных систем, Институт динамики систем и теории управления
им. В.М. Матросова СО РАН (Иркутск, Российская Федерация)