Исследование производительности метакомпьютера с единым образом операционной системы

Современные компьютерные технологий позволяют создавать относительно дешевые многомашинные комплексы с общим математическим обеспечением и общими вычислительными ресурсами - вычислительные кластеры. Такие системы обеспечивают относительно низкую стоимость вычислений, хорошо масштабируемы, имеют высокий уровень надежности, имеют апробированные инструментальные средства для конструирования, отладки и анализа параллельных программ. В сообщении рассматривается MOSIX технология организации кластерных систем и средства тестирования её производительности, обсуждаются особенности и возможности. MOSIX — системное ПО для UNIX-подобных ОС, таких как Linux, состоящее из адаптивных алгоритмов разделения ресурсов. Это позволяет множеству однопроцессорных (UP) и SMP узлам использоваться для работы под единым управлением. Алгоритмы разделения ресурсов MOSIX разработаны в соответствии с использованием ресурсов узлов в режиме реального времени. Это достигается миграцией процессов с одного узла на другой, преимущественно и прозрачно, для балансировки загрузки (load-balancing) и предотвращения переполнения памяти. Целью такой организации вычислений является увеличение суммарной производительности и создание удобной многопользовательской и разделяемой по времени среды для запуска последовательных и параллельных приложений[2]. Она поддерживает и интерактивные процессы и пакетные задания. MOSIX можно рассматривать как операционную систему мульти-кластера, которая включает автоматическое обнаружение ресурса и динамическое распределение рабочей нагрузки, обычно она загружается на уединенных компьютерах с большим количеством процессоров. Система MOSIX обеспечивает автоматическое перемещение процессов между ними. Она расширяет ядро Linux механизмами миграции и предоставляет комплект управляющих утилит, предназначенных для настройки системы распределения процессов, а также для отладки и контроля. Особенностью MOSIX является отсутствие централизованного управления — каждый узел кластера может работать как автономная система и самостоятельно управлять вычислительными процессами. Это позволяет динамически конфигурировать кластер, наращивая или сокращая количество узлов без остановки системы. При необходимости MOSIX допускает использование статического управления, что позволяет накладывать явные ограничения для достижения максимальной эффективности конкретной кластерной архитектуры [13],[14],[29],[51].

Основной целью этой работы стало исследование и анализ возможностей оптимизации метакомпьютера с единым образом операционной системы на базе двух узлового кластера с различной аппаратной архитектурой процессоров и установленным программным обеспечением, обеспечивающим единый образ операционной системы для кластера в целом [45],[48].

Ключевым компонентом любой распределенной системы является файловая система. Как и в централизованных системах, в распределенной системе функцией файловой системы является хранение программ и данных, а также предоставление доступа к ним по мере необходимости. Здесь анализируется файловая система прямого доступа MOSIX (DFSA),условие, которая может улучшить производительность кластерных файловых систем, позволяя миграционному процессу непосредственно получить доступ к файлам в его текущем расположении. Такая возможность, в объединении с соответствующей файловой системой, могла бы существенно увеличить производительность ввода-вывода и уменьшить сетевую перегрузку, перемещая процесс, интенсивно использующий средства ввода-вывода, на файловый сервер. DFSA подходит для кластеров, которые управляют пулом общих дисков. С DFSA можно переместить параллельные процессы с клиентского узла на файловые сервера для параллельного доступа к различным файлам. Чтобы протестировать ее производительность, мы будем использовать файловую систему MOSIX (MFS), которая разрешает непротиворечивые параллельные операции на различных файлах.

Файловая система прямого доступа DFSA была разработана, чтобы уменьшить дополнительные издержки ввода-вывода, переориентируя системные вызовы миграционного процесса. Это было сделано, чтобы ограничить выполнение большинства таких системных вызовов локально на текущем узле процесса. В дополнение к DFSA новый алгоритм, который учитывает операции ввода-вывода, был добавлен к системе балансировки нагрузки MOSIX. В результате этих изменений процесс, который выполняет от умеренного до большого объема операций ввода-вывода, мигрирует на узел, который и занимается, в основном, операциями ввода-вывода. Еще одно очевидное преимущество состоит в том, что у процессоров, задействованных как в операциях ввод-вывод, так и для вычислений, появляется большая гибкость для такой их миграции с соответствующих узлов, которая лучше балансирует нагрузку. Система MOSIX распределена и масштабируема, поскольку она позволяет выполнять много процессов одновременно, и ей доступны различные файлы, которые были предварительно выделены различными узлами до выполнения параллельных процессов. Улучшения MOSIX реализованы в ядре операционной системы, без изменения интерфейса UNIX, и они полностью прозрачны для прикладного уровня[61],[80].

Рисунок.2.11. Схема технологий Mosix