Метакомп’ютери

На початку розвитку масово паралельні комп’ютери були досить дорогими та рідкісними. В наш час завдяки розвитку мережених технологій кластер можна створювати в будь-яких умовах.

Програміст може розділяти задачу між декількома комп’ютерами в мережі і отримувати результати. В такому розумінні можна використовувати глобальну мережу Internet. Взагалі кажучи, Інтернет можна розглядати як надпотужний єдиний паралельний комп’ютер з найбільшою в світі піковою продуктивністю та іншими характеристиками.

Комп’ютер, що складається з великої кількості інших комп’ютерів, називається метакомп’ютером. Звідси і походить назва процесу вирішення задач на таких комп’ютерах. Не обов’язково в якості комунікаційного середовища обирати Інтернет. Це може бути довільна мережева технологія. Основне не спосіб передачі даних, а принцип створення системи. Конструктивні ідеї використання розподілених обчислень ресурсів з’явилися на початку 90-х років. Деякі системи були універсальними, а деякі створювалися для вирішення певної задачі. В деяких системах використовувалися високопродуктивні мережі та спеціальні протоколи, а деякі системи використовували звичайні канали зв’язку і звичайні протоколи. Наведемо декілька прикладів.

Розширення МРІ, що використовується для проведення обчислень РАСХ-МРІ. Підтримуються розподілені обчислення шляхом створення єдиного метакомп’ютера МРІ шляхом з’єднання декількох МРІ –систем. Передача даних відбувається по протоколу ТСР/ІР, що дозволяє використовувати Інтернет, як комунікаційне середовище. У 1998 році було продемонстровано роботу такого комп’ютера, що складався з двох 512-ти-процесорних комп’ютерів Cray T3E, перший з яких знаходився в Німеччині, а другий в США.

Розподіляє задачу в корпоративні мережі система Condor, тоді, коли комп’ютери простоюють. Програмне забезпечення системи Condor існує для всіх операційних систем і є безкоштовним.

Проект SETI@Home – це проект пошуку неземних цивілізацій шляхом проведення розподілених обчислень і обробці даних, що поступають з радіотелескопу. Будь-хто може завантажити програму розкодування сигналу для будь-якої операційної системи. З моменту старту у 2002 році даного проекту, участь у ньому прийняли понад 4 млн. бажаючих. Сумарна продуктивність роботи системи за цей час була вищою за будь-які комп’ютери зі списку ТОР500 (список найбільш продуктивних комп’ютерів).

Ще один проект – GIMPS – пошук простих чисел Мерцена. Просте число Мерцена – це 2^р-1, де р – просте число. На даний час завдяки розподіленим обчисленням отримали число 2^13466917-1. мета цього проекту досить проста: організація EFF запропонувала 100 000$ тій людині, яка представить число Мерцена з 10 млн. цифр.

Прогрес в мережених технологіях останнім часом дуже великий. Гігабітні канали зв’язку є досить звичайним явищем у наш час.

Об’єднавши різні обчислювальні системи в рамках єдиної мережі можна сформувати спеціальну обчислювальну систему. Деякі комп’ютери будуть від’єднуватись, деякі приєднуватись, проте для зовнішнього користувача все це має бути прозорим. Користувач задає тільки задачу, а система сама визначає, які вузли підключати, як перетворювати дані тощо. Для користувача все одно, як працює всередині метакомп’ютер. Можна провести аналогію з електричною мережею. Коли користувач вмикає електричний пристрій, йому байдуже, яка електростанція виробляє енергію. По цій аналогії обчислювальні мережі називають в англомовній літературі Creed.

При взаємодії метакомп’ютера з користувачем виникають наступні особливості:

1. Метакомп’ютер володіє дуже великими ресурсами, які навіть не йдуть у порівняння із звичайними комп’ютерами. Це пікова продуктивність, об’єм пам’яті, число доступних процесорів.

2. Метакомп’ютер є розподіленим по своїй природі. Складові метакомп’ютера можуть бути віддалені один від одного на сотні кілометрів, що впливає на швидкість їх взаємодії.

3. Метакомп’ютер може міняти конфігурацію. Деякі вузли можуть від’єднуватись, деякі приєднуватись, проте на роботу метакомп’ютера це впливати не повинно.

4. Метакомп’ютер не є однорідним. Він може включати в себе сотні, тисячі вузлів різної конфігурації з різними операційними системами. Все це повинно враховуватись при створенні метакомп’ютера.

5. Метакомп’ютер об’єднує комп’ютери багатьох організацій, в кожній з яких є своя власна політика доступу до ресурсів, адміністрування політики захисту.

Метакомп’ютер не належить нікому і тому його адміністрування проводиться в загальних рисах.

Говорячи про метакомп’ютер, мається на увазі не реалізація його апаратної частини, а принцип взаємодії його компонентів між собою.

При роботі з метакомп’ютером необхідно враховувати такі питання як: моделі програмування, розподілення і керування задачами, технологія організації доступу, інтерфейс з користувачем, безпека, надійність тощо.

Не дивлячись на здавалось би велику складність створення метакомп’ютера, на проблематику його роботи, вони здобули широке застосування у наш час. Метакомп’ютер дозволяє вирішити такі задачі, вирішення яких колись було нереальне. Наприклад, для побудови однієї макромолекули одному комп’ютеру потрібно було би декілька днів. І кількість числових експериментів для даної молекули може перевищити сотні тисяч. Жоден традиційний комп’ютер не володіє потужністю для вирішення даної задачі, проте спільні ресурси метакомп’ютера можуть допомогти.

Також до особливостей метакомп’ютерів можна віднести задачу розподіленого зберігання даних. В багатьох задачах об’єми даних, з якими працює дана задача, можуть перевищувати 10¹⁵ байт. Немає традиційного комп’ютера, який міг би зберігати таку інформацію. В метакомп’ютері всі ці дані розподілені на географічно віддалених між собою вузлах. Характерною задачею даної області є задача створення інформаційної системи для підтримки експерименту в фізиці високих технологій.

В 2006-2007рр. планується ввести в дію великий едронний колайдер європейськими організаціями ядерних випробувань. Чотири фізичні установки даного типу на протязі 15-20 років будуть зберігати інформацію 10¹⁵ байт кожного року. Під час експериментів дані будуть поступати зі швидкістю 100 Мбіт/с або 1 Гбіт/с. оптимальна схема зберігання усіх цих даних – це їх розподілення між сотнями учасників експерименту в світі.

Комп’ютерні ресурси кожного такого цеху повинні бути адекватно поставлені задачі, а саме, об’єм фізичної пам’яті 2.5 Пбайт (Пбайт=10¹⁵ байт). Об’єм зберігання на магнітних плівках 10-15 Пбайт, причому кожного року об’єм бази даних на магнітних плівках повинен збільшуватися на цю ж величину.