Реферат: Кластерные системы - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Кластерные системы

Банк рефератов / Радиоэлектроника

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Архив Zip, 304 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

32 Московский Государственный Инженерно-Физический Институт (Технически й Университет ) кафедра 29 "Управляющие Интеллектуальные Системы " Реферат на тему : Кластерные системы Выполнил : студент группы К 9-292 Попов И.А МОСКВА 2001 Оглавление : 1. Введение 2. Основные классы современны х параллельных компьютеров 3. Кластерная архитектура параллельных компьютеров 4. Цели создания кластерных систем 5. Отказоустойчивые кластеры 6. Высокопроизводительные кластеры 7. Проект Beowulf 8. Заключение 9. Литература Введение Развитие многопроцессо рных вычислительных систем Развитие традиционных архитектур построения вычислительных систем , таких как SMP, MPP, векторных параллельных систем идет достаточно быстрыми темпами . Повышается производительность , растет надежность и отказоустойчивость . Однако у этих архитектур есть один недостаток - стоимость создаваемых систем , подчас недоступная для многих пользователей таких систем - образовательных и научно-исследовательских организаций . Она оказывает очень высокой из-за усложнения аппаратных и программных составляющих системы , которые требуются для обеспечения таких темпов роста производиельности . Однако потребность в вычислительных ресурсах в настоящее время очень высока во многих сферах научной и практической деятельности и для ее обеспечения не хватае т ресурсов традиционных суперкомпьютерных систем. Кластерные системы возникли как более дешевое решение проблемы недостатка вычислительных ресурсов , и основываются на использовании в своей архитектуре широко распространенных и относительно дешевых технологи й , аппаратных и программных средств , таких как PC, Ethernet, Linux и т.д . Использование массовых технологии в кластерных системах стало возможным благодаря значительному прогрессу в развитии компонентов обычных вычислительных систем , таких как центральные процессоры , операционные системы , коммуникационные среды. Так как кластерные системы архитектурно являются развитием систем с массовым параллелизмом MPP, то главную роль в их развитии является прогресс в области сетевых технологий . К настоящему времени по явились недорогие , но эффективные коммуникационные решения . Это и предопределило быстрое появление и развитие кластерных вычислительных систем. Также прогрессу развития кластерных систем способствовали и другие факторы. Производительность персональных комп ьютеров на базе процессоров Intel в последние годы также значительно выросла . Такие компьютеры стали создавать серьезную конкуренцию рабочим станциям на базе более дорогих и мощных RISC процессоров . Одновременно стала приобретать все большую популярность ОС Linux - бесплатно распространяемая версия UNIX. При этом в научных организациях и университетах , где и разрабатывается большинство кластер ных систем , как правило , имеются специалисты по ОС Linux. Высокую степень развития кластерных систем на сегоднящний день показывает тот факт , что в списке самых мощных суперкомпьютеров мира Top500 – числится 11 кластерных установок. Основные классы сов ременных параллельных компьютеров Кластерные системы являются развитием параллельных систем . Чтобы проказать место кластерных систем среди остальных типов параллельных архитектур вычислительных систем нужно привести их классификацию . Параллельные системы могут быть класифицированы по различным критериям. С аппаратной точки зрения , основным параметром классификации паралелльных компьютеров является наличие общей ( SMP ) или распределенной памяти ( MPP ). Нечто среднее между SMP и MPP представляют собой NUMA -ар хитектуры , где память физически распределена , но логически общедоступна. Симметричные мультипроцессорные системы SMP система состоит из нескольких однородных процессоров и массива общей памяти . Один из часто используемых в SMP архитектурах подходов для фор мирования масштабируемой , общедоступной системы памяти , состоит в однородной организации доступа к памяти посредством организации масштабируемого канала память-процессоры : рис .1 Каждая операция доступа к памяти интерпретируется как транзакция по шине процессоры-память . Когерентность кэшей поддерживается аппаратными средствами . В SMP каждый проц ессор имеет по крайней мере одну собственную кэш-память (а возможно , и несколько ). Можно сказать , что SMP система - это один компьютер с несколькими равноправными процессорами . Все остальное - в одном экземпляре : одна память , одна подсистема ввода /вывода , одна операционная система . Слово "равноправный " означает , что каждый процессор может делать все , что любой другой . Каждый процессор имеет доступ ко всей памяти , может выполнять любую операцию ввода /вывода , прерывать другие процессоры и т.д. Недостатком дан ной архитектуры является необходимость организации канала процессоры-память с очень высокой пропускной способностью. Массивно-параллельные системы Массивно-параллельная система MPP состоит из однородных вычислительных узлов , включающих в себя : · один ил и несколько центральных процессоров (обычно RISC) · локальную память (прямой доступ к памяти других узлов невозможен ) · коммуникационный процессор или сетевой адаптер · жесткие диски и /или другие устройства В /В К системе могут быть добавлены специальн ые узлы ввода-вывода и управляющие узлы . Узлы связаны через некоторую коммуникационную среду (высокоскоростная сеть , коммутатор и т.п .) Системы с неоднородным доступом к памяти NUMA NUMA (nonuniform memory access) в отличие от привычной SMP архитектуры с разделяемой памятью представляет собой несколько отдельных процессоров , каждый из которых , кроме собственного кэша , обладает также локальной памятью : рис .2 В подобной архитектуре процессор и модули памяти тесно интегрированы , следовательно , скорость доступа к локальной памяти гораздо выше , чем к памяти “соседнего” процессора . Подсистемы ввода-вывода могут быть ч астью каждого узла или консолидированы на выделенных узлах ввода-вывода . Если во всей системе поддерживается когерентность кэшей , то такую архитектуру называют cc-NUMA. Проще всего охарактеризовать NUMA-систему , представив себе большую систему SMP, разделе нную на несколько частей , эти части связаны коммуникационной магистралью , подключенной к системным шинам , и каждая часть включает собственную основную память и подсистему ввода /вывода . Это и есть NUMA: большая SMP, разбитая на набор более мелких и простых SMP. Основной проблемой NUMA является обеспечение когерентности кэшей . Аппаратура позволяет работать со всеми отдельными устройствами основной памяти составных частей системы (называемых обычно узлами ) как с единой гигантской памятью. Кластерная архитектур а Рассмотрим место кластерной архитектуры вычислительных систем в данной классификации . Кластер - это связанный набор полноценных компьютеров , используемый в качестве единого ресурса . Под понятием "полноценный компьютер " понимается завершенная компьютерна я система , обладающая всем , что требуется для ее функционирования , включая процессоры , память , подсистему ввода /вывода , а также операционную систему , подсистемы , приложения и т.д . Обычно для этого годятся персональные компьютеры или параллельные системы , к оторые могут обладать архитектурой SMP и даже NUMA. Кластеры являются слабосвязанными системами , связи узлов используется одна из стандартных сетевых технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора . Поэтому они явля ю тся более дешевой в построении модификацией MPP архитектуры . Кластерная архитектура параллельных компьютеров Общие принципы Как уже было сказано раньше вычислительный кластер — это совокупность компьютеров , объединенных в рамках некоторой сети для решени я одной задачи ( рис .3 ), которая для пользователя представляется в качестве единого ресурса . Такую концепцию кластера впервые предложила и реализовала в начале 80-х корпорация Digital Equipment, которая и по сей день развивает эту технологию Понятие "единый ресурс " означает наличие программного обеспечения , дающего возможность пользователям , администраторам и прикладным программам считать , что имеется только одна сущность , с которой они работают - кластер . Например , система пакетной обработки кластера позво л яет послать задание на обработку кластеру , а не какому-нибудь отдельному компьютеру . Более сложным примером являются системы баз данных . Практически у всех производителей систем баз данных имеются версии , работающие в параллельном режиме на нескольких маш и нах кластера . В результате приложения , использующие базу данных , не должны заботиться о том , где выполняется их работа . СУБД отвечает за синхронизацию параллельно выполняемых действий и поддержание целостности базы данных. Компьютеры , образующие кластер , — так называемые узлы кластера — всегда относительно независимы , что допускает остановку или выключение любого из них для проведения профилактических работ или установки дополнительного оборудования без нарушения работоспособности всего кластера . рис .3 В качестве вычислительных узлов в кластере обычно используются однопроцессорные персональные компьютеры , двух - или четырехпроцессорные SMP-серверы . Каждый узел работает под управлени ем своей копии операционной системы , в качестве которой чаще всего используются стандартные операционные системы : Linux, NT, Solaris и т.п . Состав и мощность узлов может меняться даже в рамках одного кластера , давая возможность создавать неоднородные сист е мы . Выбор конкретной коммуникационной среды определяется многими факторами : особенностями класса решаемых задач , необходимостью последующего расширения кластера и т.п . Возможно включение в конфигурацию специализированных компьютеров , например , файл-сервер а , и , как правило , предоставлена возможность удаленного доступа на кластер через Internet. Из определения архитектуры кластерных систем следует , что она включает в себя очень широкий спектр систем. Рассматривая крайние точки , кластером можно считать как пар у ПК , связанных локальной 10-мегабитной сетью Ethernet, так и вычислительную систему , создаваемую в рамках проекта Cplant в Национальной лаборатории Sandia: 1400 рабочих станций на базе процессоров Alpha, связанных высокоскоростной сетью Myrinet. Таким обр азом видно , что различных вариантов построения кластеров очень много . При этом в архитектуре кластера большое значение имеют используемые коммуникационные технологии и стандарты . Они во многом определяют круг задач , для решения которых можно использовать к ластеры , построенные на основе этих технологий. Коммуникационные технологии построения кластеров Кластеры могут стоится как на основе специализированных высокоскоростных шин передачи данных , так и на основе массовых сетевых технологий . Среди массовых комму никационных стандартов сейчас чаще всего используется сеть Ethernet или более ее производительный вариант - Fast Ethernet, как правило , на базе коммутаторов . Однако большие накладные расходы на передачу сообщений в рамках Fast Ethernet приводят к серьезны м ограничениям на спектр задач , которые можно эффективно решать на таком кластере . Если от кластера требуется большая производительность и универсальность , то необходимо применять более скоростные и специализированные технологии . К ним относятся SCI, Myrin e t, cLAN, ServerNet и др . Сравнительная характеристика параметров этих технологий приведена в таблице 1. SCI Myrinet CLAN ServerNet Fast Ethernet Латентность (MPI) 5,6 мкс 17 мкс 30 мкс 13 мкс 170 мкс Пропускная способность (MPI) 80 Мбайт /c 40 Мбайт /c 100Мбайт /c 180 Мбайт /c 10 Мбайт /c Пропускная способность (аппаратная ) 400 Мбайт /c 160 Мбайт /c 150 Мбайт /c н /д 12,5 Мбайт /c Реализация MPI ScaMPI HPVM, MPICH-GM и др. MPI/Pro MVICH MPICH Таблица 1. Производительность коммуникационных сетей в кластерных системах определяется несколькими числовыми характеристиками . Основных характеристик две : латентность – время начальной задержки при посылке сообщений и пропускная способность сети , определяющая скорость передачи информации по каналам связи . При этом важ н ы не столько пиковые характеристики , заявленные в стандарте , сколько реальные , достигаемые на уровне пользовательских приложений , например , на уровне MPI-приложений . В частности , после вызова пользователем функции посылки сообщения Send() сообщение послед о вательно пройдет через целый набор слоев , определяемых особенностями организации программного обеспечения и аппаратуры , прежде , чем покинуть процессор – поэтому существует существенный разбром по стандартам значений латентности . Наличие латентности привод и т к тому , что максимальная скорость передачи по сети не может быть достигнута на сообщениях с небольшой длиной. Скорость передачи данных по сети в рамках технологий Fast Ethernet и Scalable Coherent Interface (SCI) зависит от длины сообщения . Для Fast Ethe rnet характерна большая величина латентности – 160-180 мкс , в то время как латентность для SCI это величина около 5,6 мкс . Максимальная скорость передачи для этих же технологий 10 Мбайт /c и 80 Мбайт /с соответственно. Цели создания кластерных систем Разраб отчики архитектур кластерных систем приследовали различные цели при их создании . Первой была фирма Digital Equipment с кластерами VAX/VMS . Целью созда ния этой машины было повышение надежности работы системы , обеспечение высокой готовности и отказоустойчив ости системы . В настоящее время существует множество аналогичных по архитектуре систем от других производителей . Другой целью создания кластерных систем является создание дешевых высокопроизводительных параллельных вычислительных систем . Один из первых п роектов , давший имя целому классу параллельных систем – кластер Beowulf [2] – возник в центре NASA Goddard Space Flight Center для поддержки необходимыми вычислительными ресурсами проекта Earth and Space Sciences. Проект Beowulf начался летом 1994 года , и вскоре был собран 16-процессорный кластер на процессорах Intel 486DX4/100 МГц . На каждом узле было установлено по 16 Мбайт оперативной памяти и по 3 сетевых Ethernet-адаптера . Эта система оказалась очень удачной по отношению цена /производительность , поэто м у такую архитектуру стали развивать и широко использовать в других научных организациях и институтах. Для каждого класса кластеров характерны свои особенности архитекуры и применяемые аппаратные средства . Рассмотрим их более подробно. Отказоустойчивые кла стеры Принципы построения Для обеспечения надежности и отказоустойчивости вычислительных систем применяется множество различных аппаратурных и программных решений . Например , в системе может дублироваться все подверженные отказам элементы — источники питани я , процессоры , оперативная и внешняя память . Такие отказоустойчивые системы с резервированием компонентов применяются для решения задач , в которых недостаточно надежности обычных вычислительных систем , оцениваемой в настоящий момент вероятностью безотказно й работы 99%. В таких задачах требуется вероятность 99,999% и выше . Такую надежность можно достичь применяя отличные от приведенного выше методы повышения отказоустойчивости . В зависимости от уровня готовности вычислительной системы к использованию выделяю т четыре типа надежности : Уровень готовности , % М aкс . время простоя Тип системы 99,0 3,5 дня в го д Обычная (Conventional) 99,9 8,5 часов в год Высокая надежность (High Availability) 99,99 1 час в год Отказоустойчивая (Fault Resilient) 99,999 5 минут в год Безотказная (Fault Tolerant) Таблица 2. В отличие от отказоустойчивых систем с избыточными к омпонентами , а также различных вариантов многопроцессорности , кластеры объединяют относительно независимые друг от друга машины , каждую из которых можно остановить для профилактики или реконфигурирования , не нарушая при этом работоспособности кластера в ц е лом . Высокая производительность кластера и сведение к минимуму времени простоев приложений достигается благодаря тому , что : · в случае сбоя ПО на одном из узлов приложение продолжает функционировать или автоматически перезапускается на других узлах класт ера ; · выход из строя одного из узлов (или нескольких ) не приведет к краху всей кластерной системы ; · профилактические и ремонтные работы , реконфигурацию или смену версий программного обеспечения , как правило , можно осуществлять в узлах кластера поочер едно , не прерывая работы других узлов. Неотъемлемой частью кластера является специальное программное обеспечение , которое , собственно , и решает проблему восстановления узла в случае сбоя , а также решает другие задачи . Кластерное ПО обычно имеет несколько з аранее заданных сценариев восстановления работоспособности системы , а также может предоставлять администратору возможности настройки таких сценариев . Восстановление после сбоев может поддерживаться как для узла в целом , так и для отдельных его компонентов — приложений , дисковых томов и т.д . Эта функция автоматически инициируется в случае системного сбоя , а также может быть запущена администратором , если ему , например , необходимо отключить один из узлов для реконфигурации. Кластеры могут иметь разделяемую па мять на внешних дисках , как правило , на дисковом массиве RAID. Дисковый массив RAID — это серверная подсистема ввода - вывода для хранения данных большого объема . В массивах RAID значительное число дисков относительно малой емкости используется для хранени я крупных объемов данных , а также для обеспечения более высокой надежности и избыточности . Подобный массив воспринимается компьютером как единое логическое устройство. Восстановление после сбоев может поддерживаться как для узла в целом , так и для отдельных его компонентов — приложений , дисковых томов и т.д . Эта функция автоматически инициируется в случае системного сбоя , а также может быть запущена администратором , если ему , например , необходимо отключить один из узлов для реконфигурации. Узлы кластера конт ролируют работоспособность друг друга и обмениваются специфической «кластерной» информацией , например , о конфигурации кластера , а также передавать данные между разделяемыми накопителями и координировать их использование . Контроль работоспособности осущест в ляется с помощью специального сигнала , который узлы кластера передают друг другу , для того чтобы подтвердить свое нормальное функционирование . Прекращение подачи сигналов с одного из узлов сигнализирует кластерному программному обеспечению о произошедшем с бое и необходимости перераспределить нагрузку на оставшиеся узлы . В качестве примера рассмотрим отказоустойчивый кластер VAX/VMS. Кластера VAX/VMS Компания DEC первой анонсировала концепцию кластерной системы в 1983 году , определив ее как группу объединен ных между собой вычислительных машин , представляющих собой единый узел обработки информации . По существу VAX-кластер представляет собой слабосвязанную многомашинную систему с общей внешней памятью , обеспечивающую единый механизм управления и администриров а ния . VAX-кластер обладает следующими свойствами : Разделение ресурсов. Компьютеры VAX в кластере могут разделять доступ к общим ленточным и дисковым накопителям . Все компьютеры VAX в кластере могут обращаться к отдельным файлам данных как к локальным . Вы сокая готовность. Если происходит отказ одного из VAX-компьютеров , задания его пользователей автоматически могут быть перенесены на другой компьютер кластера . Если в системе имеется несколько контроллеров HSC и один из них отказывает , другие контроллеры HS C автоматически подхватывают его работу . Высокая пропускная способность . Ряд прикладных систем могут пользоваться возможностью параллельного выполнения заданий на нескольких компьютерах кластера . Удобство обслуживания системы . Общие базы данных могут обс луживаться с единственного места . Прикладные программы могут инсталлироваться только однажды на общих дисках кластера и разделяться между всеми компьютерами кластера . Расширяемость . Увеличение вычислительной мощности кластера достигается подключением к не му дополнительных VAX-компьютеров . Дополнительные накопители на магнитных дисках и магнитных лентах становятся доступными для всех компьютеров , входящих в кластер . Работа VAX-кластера определяется двумя главными компонентами . Первым компонентом является в ысокоскоростной механизм связи , а вторым - системное программное обеспечение , которое обеспечивает клиентам прозрачный доступ к системному сервису . Физически связи внутри кластера реализуются с помощью трех различных шинных технологий с различными характе р истиками производительности . Основные методы связи в VAX-кластере представлены на рис . 4 . Рис . 4 VAX/VMS-кластер Шина связи компьютеров CI (Computer Interconnect) работает со скоростью 70 Мбит /с и используется для соединения компьютеров VAX и контроллеров HSC с помощью коммутатора Star Coupler. Каждая связь CI имеет дв ойные избыточные линии , две для передачи и две для приема , используя базовую технологию CSMA, которая для устранения коллизий использует специфические для данного узла задержки . Максимальная длина связи CI составляет 45 метров . Звездообразный коммутатор S t ar Coupler может поддерживать подключение до 32 шин CI, каждая из которых предназначена для подсоединения компьютера VAX или контроллера HSC. Контроллер HSC представляет собой интеллектуальное устройство , которое управляет работой дисковых и ленточных нак о пителей . Компьютеры VAX могут объединяться в кластер также посредством локальной сети Ethernet, используя NI - Network Interconnect (так называемые локальные VAX-кластеры ), однако производительность таких систем сравнительно низкая из-за необходимости де лить пропускную способность сети Ethernet между компьютерами кластера и другими клиентами сети . Также кластера могут стоиться на основе шины DSSI (Digital Storage System Interconnect). На шине DSSI могут объединяться до четырех компьютеров VAX нижнего и с реднего класса . Каждый компьютер может поддерживать несколько адаптеров DSSI. Отдельная шина DSSI работает со скоростью 4 Мбайт /с (32 Мбит /с ) и допускает подсоединение до 8 устройств . Поддерживаются следующие типы устройств : системный адаптер DSSI, дисков ы й контроллер серии RF и ленточный контроллер серии TF. DSSI ограничивает расстояние между узлами в кластере 25 метрами . Системное программное обеспечение VAX-кластеров Для гарантии правильного взаимодействия процессоров друг с другом при обращениях к об щим ресурсам , таким , например , как диски , компания DEC использует распределенный менеджер блокировок DLM (Distributed Lock Manager). Очень важной функцией DLM является обеспечение когерентного состояния дисковых кэшей для операций ввода /вывода операционно й системы и прикладных программ . Например , в приложениях реляционных СУБД DLM несет ответственность за поддержание согласованного состояния между буферами базы данных на различных компьютерах кластера . Задача поддержания когерентности кэш-памяти ввода /выво да между процессорами в кластере подобна задаче поддержания когерентности кэш-памяти в сильно связанной многопроцессорной системе , построенной на базе некоторой шины . Блоки данных могут одновременно появляться в нескольких кэшах и если один процессор моди ф ицирует одну из этих копий , другие существующие копии не отражают уже текущее состояние блока данных . Концепция захвата блока (владения блоком ) является одним из способов управления такими ситуациями . Прежде чем блок может быть модифицирован должно быть о б еспечено владение блоком . Работа с DLM связана со значительными накладными расходами . Накладные расходы в среде VAX/VMS могут быть большими , требующими передачи до шести сообщений по шине CI для одной операции ввода /вывода . Накладные расходы могут достига ть величины 20% для каждого процессора в кластере . Высокопроизводительные кластеры Принципы построения Архитектура в ысокопроизводительных кластеров появилась как развитие принципов построения систем MPP на менее производительных и массовых компонентах , у правляемых операционной ситемой общего назначения . Кластеры также как и MPP системы состоят из слабосвязанных узлов , которые могут быть как однородными , так и , в отличие от MPP , различными или гетерогенными . Особое внимание при проектировании высокопроизво дительной кластерной архутектуры уделяется обеспечению высокой эффективности коммуникационной шины , связывающей узлы кластера . Так как в кластерах нередко применяются массовые относительно низкопроизводительные шины , то приходится принимать ряд мер по иск л ючению их низкой пропускной способности на производительность кластеров и организацию эффективного распараллеливания в кластере . Так например пропускная способность одной из самых высокоскоростных технологий Fast Ethernet на порядки ниже , чем у межсоединен ий в современных суперкомпьютерах МРР-архитектуры . Для решения проблем низкой производительности сети применяют несколько методов : - кластер разделяется на несколько сегмент ов , в пределах которых узлы соединены высокопроизводительной шиной типа Myrinet , а связь между узлами разных сегментов осуществляется низкопроизводительными сетями типа Ethernet / Fast Ethernet . Это позволяет вместе с сокращением расходов на коммуникационную среду существенно повысить производительность таких кластеров при решении задач с интенсивным обменом данными между процессами. - применение так называемого «транкинга» , т.е . объединение нескольких каналов Fast Ethernet в один общий скоростной канал , соединяющий несколько коммутаторов . Очевидным недостатком такого подхода является « потеря» части портов , задействованных в межсоединении коммутаторов. - для повышения производительности создаются специальные протоколы обмена информацией по таким сетям , которые позволяют более эффективно использовать пропускную способность каналов и сним ают некоторые ограничения накладываемые стандартными протоколами (TCP/IP , IPX ). Такой метод часто используют в ситемах класса Beowulf. Основным качеством , которым должен обладать высокопроизводительный кластер являтся горизонтальная масштабируемость , так ка к одним из главных преимуществ , которые предоставляет кластерная архитектура является возможность наращивать мощность существующей системы за счет простого добавления новых узлов в систему . Причем увеличение мощности происходит практически пропорционально мощности добавленных ресурсов и может производиться без остановки системы во время ее функционирования . В системах с другой архитектурой (в частности MPP) обычно возможна только вертикальная масштабируемость : добавление памяти , увеличение числа процессоров в многопроцессорных системах или добавление новых адаптеров или дисков . Оно позволяет временно улучшить производительность системы . Однако в системе будет установлено максимальное поддерживаемое количество памяти , процессоров или дисков , системные ресурс ы будут исчерпаны , и для увеличеия производительности придется создавать новую систему или существенно перерабатывать старую . Кластерная система также допускает вертикальную масштабируемость . Таким образом , за счет вертикального и горизонтального масштабиро вания кластерная модель обеспечивает большую гибкость и простоту увеличения производительности систем. П роект Beowulf Beowulf - это скандинавский эпос , повествующий о событиях VII - первой трети VIII века , участником которых является одноименный герой , прославивший себя в сражениях. Одним из примеров реализации кластерной системы такой структуры являются кластеры Beowulf. Проект Beowulf объединил около полутора десятков организаций (главным образом университетов ) в Соединенных Штатах . Ведущие разработчи ки проекта - специалисты агентства NASA. В данном виде кластеров можно выделить следующие основные особенности : - кластер Beowulf состоит из нескольких отдельных узлов , объединенных в общую сеть , общие ресурсы узлами кластера не используются ; - оптимальн ым считается построение кластеров на базе двухпроцессорных SMP систем ; - для уменьшения накладных расходов на взаимодействие между узлами применяют полнодуплексный 100 MB Fast Ethernet (реже используют SCI), создают несколько сетевых сегментов или соединя ют узлы кластера через коммутатор ; - в качестве программного обеспечения применяют ОС Linux, и бесплатно распространяемые коммуникационные библиотеки (PVM и MPI); Также История проекта Beowulf Проект начался летом 1994 года в научно-космическом центре NASA - Goddard Space Flight Center ( GSFC ), точнее в созданном на его основе CESDIS (Center of Excellence in Space Data and Information Sciences). Первый Beowulf-кластер был создан на основе компьютеров Intel архитектуры под ОС Linux. Это была система , сос тоящая из 16 узлов (на процессорах 486DX4/100MHz, 16MB памяти и 3 сетевых адаптера на каждом узле , 3 "параллельных " Ethernet-кабеля по 10Mbit). Он создавался как вычислительный ресурс проекта " Earth and Space Sciences Project" (ESS). Далее в GSFC и других подразделениях NASA были собраны другие , более мощные кластеры . Например , кластер theHIVE (Highly-parallel Integrated Virtual Environment) содержит 64 узла по 2 процессора Pentium Pro/200MHz и 4GB памяти в каждом , 5 коммутаторов Fast Ethernet . Общая стоим ость этого кластера составляет примерно $210 тыс . В рамках проекта Beowulf был разработан ряд высокопроизводительных и специализированных сетевых драйверов (в частности , драйвер для использования нескольких Ethernet-каналов одновременно ). Архитектура Beo wulf Узлы кластера . Это или однопроцессорные ПК , или SMP-сервера с небольшим числом процессоров (2-4, возможно до 6). По некоторым причинам оптимальным считается построение кластеров на базе двухпроцессорных систем , несмотря на то , что в этом случае настр ойка кластера будет несколько сложнее (главным образом потому , что до cтупны относительно недорогие материнские платы для 2 процессоров Pentium II/ III ). Стоит установить на каждый узел 64-128MB оперативной памяти (для двухпроцессорных систем 64-256MB). Одн у из машин следует выделить в качестве центральной (головной ) куда следует установить достаточно большой жесткий диск , возможно более мощный процессор и больше памяти , чем на остальные (рабочие ) узлы . Имеет смысл обеспечить (защищенную ) связь этой машины с внешним миром . При комплектации рабочих узлов вполне возможно отказаться от жестких дисков - эти узлы будут загружать ОС через сеть с центральной машины , что , кроме экономии средств , позволяет сконфигурировать ОС и все необходимое ПО только 1 раз (на цен тральной машине ). Если эти узлы не будут одновременно использоваться в качестве пользовательских рабочих мест , нет необходимости устанавливать на них видеокарты и мониторы . Возможна установка узлов в стойки (rackmounting), что позволит уменьшить место , за н имаемое узлами , но будет стоить несколько дороже . Возможна организация кластеров на базе уже существующих сетей рабочих станций , т.е . рабочие станции пользователей могут использоваться в качестве узлов кластера ночью и в выходные дни . Системы такого типа иногда называют COW (Cluster of Workstations). Количество узлов следует выбирать исходя из необходимых вычислительных ресурсов и доступных финансовых средств . Следует понимать , что при большом числе узлов придется также устанавливать более сложное и дорог ое сетевое оборудование . Сеть Основные типы локальных сетей , задействованные в рамках проекта Beowulf, - это Gigabit Ethernet, Fast Ethernet и 100-VG AnyLAN. В простейшем случае используется один сегмент Ethernet (10Mbit/sec на витой паре ). Однако дешевиз на такой сети , вследствие коллизий оборачивается большими накладными расходами на межпроцессорные обмены ; а хорошую производительность такого кластера следует ожидать только на задачах с очень простой параллельной структурой и при очень редких взаимодейст в иях между процессами (например , перебор вариантов ). Для получения хорошей производительности межпроцессорных обменов используют полнодуплексный Fast Ethernet на 100Mbit/sec. При этом для уменьшения числа коллизий или устанавливают несколько "параллельных " сегментов Ethernet, или соединяют узлы кластера через коммутатор (switch). Более дорогостоящим , но также популярным вариантом являются использование коммутаторов типа Myrinet (1.28Gbit/sec, полный дуплекс ). Менее популярными , но также реально используем ыми при построении кластеров сетевыми технологиями являются технологии с LAN, SCI и Gigabit Ethe rnet . Иногда для связи между узлами кластера используют параллельно несколько физичеких каналов связи - так называемое «связывание каналов» (channel bonding), которое обычно применяется для технологии Fast Ethernet. При этом каждый узел подсоединяется к к оммутатору Fast Ethernet более чем одним каналом . Чтобы достичь этого , узлы оснащаются либо несколькими сетевыми платами , либо многопортовыми платами Fast Ethernet. Применение связывания каналов в узлах под управлением ОС Linux позволяет организовать рав н омерное распределение нагрузки приема /передачи между соответствующими каналами . Системное ПО Операционная система . Обычно используется система Linux в версиях , специально оптимизированных под распределенные параллельные вычисления . Была проведена дорабо тку ядра Linux 2.0. В процессе построения кластеров выяснилось , что стандартные драйверы сетевых устройств в Linux весьма неэффективны . Поэтому были разработаны новые драйверы , в первую очередь для сетей Fast Ethernet и Gigabit Ethernet, и обеспечена возм о жность логического объединения нескольких параллельных сетевых соединений между персональными компьютерами (аналогично аппаратному связыванию каналов ) , что позволяет из дешевых локальных сетей , обладающих низкой пропускной способностью , соорудить сеть с в ысокой совокупной пропускной способностью. Как и в любом кластере , на каждом узле кластера исполняется своя копия ядра ОС . Благодаря доработкам обеспечена уникальность идентификаторов процессов в рамках всего кластера , а не отдельных узлов. Коммуникацион ные библиотеки . Наиболее распространенным интерфейсом параллельного программирования в модели передачи сообщений является MPI . Рекомендуемая бесплатная реализация MPI - пакет MPICH , разработанный в Аргоннской Национальной Лаб оратории . Для кластеров на базе коммутатора Myrinet разработана система HPVM , куда также входит р еализация MPI. Для эффективной организации параллелизма внутри одной SMP-cистемы возможны два варианта : 1. Для каждого процессора в SMP-машине порождается отдельный MPI-процесс . MPI-процессы внутри этой системы обмениваются сообщениями через разделяемую память (необходимо настроить MPICH соответствующим образом ). 2. На каждой машине запускается только один MPI-процесс . Внутри каждого MPI-процесса производится распараллеливание в модели "общей памяти ", например с помощью директив OpenMP . После установки реализации MPI имеет смысл протестировать реальную производительность сетевых пересылок . Кроме MPI, есть и другие библиотеки и системы параллельного программирования , которые могут быть использованы на кластерах . Пример реализа ции кластера Beowulf - Avalon В 1998 году в Лос-аламосской национальной лаборатории астрофизик Michael Warren и другие ученые из группы теоретической астрофизики построили суперкомпьютер Avalon , который представляет из себя Beowulf -кластер на базе процессоров DEC Alpha/533MHz. Avalon первоначально состоял из 68 процессоров , затем был расширен до 140. В каждом узле устано влено 256MB оперативной памяти , EIDE-жесткий диск на 3.2GB, сетевой адаптер от Kingston (общая стоимость узла - $1700). Узлы соединены с помощью 4-х 36-портовых коммутаторов Fast Ethernet и расположенного "в центре " 12-портового коммутатора Gigabit Etherne t от 3Com . Общая стоимость Avalon - $313 тыс. , а его производительность по LINPACK ( 47.7 GFLOPS ) позволила ему занять 114 место в 12-й редакции списка Top500 (рядом с 152-процессорной системой IBM SP2). 70-процессорная конфигурация Avalon по многим тестам показала такую же производительность , как 64-процессорная система SGI Origin2000 /195MHz стоимость которой превышает $1 млн . В настоящее время Avalon активно используется в астрофизических , молекулярных и других научных вычислениях . На конференции SC'98 создатели Avalon представили доклад , озаглавленный "Avalon: An Alpha/Linux Cluster Achieves 10 Gflops for $150k" и заслужили премию по показателю цена /производительность ("1998 Gordon Bell Price/Performance Prize"). Заключение Ве дущие производители микропроцессоров : Sun Microsystems, Dell и IBM придерживаются одинаковой точки зрения на будущее отрасли суперкомпьютеров : на смену отдельным , независимым суперкомпьютерам должны прийти группы высокопроизводительных серверов , объединяе м ых в кластер . Уже сегодня распределенные кластерные системы опережают современные классические суперкомпьютеры по производительности : самый мощный на сегодняшний день компьютер в мире — IBM ASCI White — обладает производительностью в 12 ТераФЛОП , производи тельность сети SETI@Home оценивается примерно в 15 ТераФЛОП . При этом , IBM ASCI White был продан за 110 миллионов долларов , а за всю историю существования SETI@Home было потрачено около 500 тысяч долларов . Проанализировав итоги работ , выполненных в рамках проекта Beowulf, можно прийти к следующему выводу : найденные решения позволяют самостоятельно собрать высокопроизводительный кластер на базе стандартных для ПК компонентов и использовать обычное программное обеспечение . Среди самых крупных экземпляров не л ьзя не отметить 50-узловой кластер в CESDIS, включающий 40 узлов обработки данных (на базе одно - и двухпроцессорных плат Р entium Р ro/200 МГц ) и 10 масштабирующих узлов (двухпроцессорная плата Р entium Р ro/166 МГц ). Соотношение стоимость /пиковая производите л ьность в таком кластере представляется очень удачным . Вопрос в том , насколько эффективно удается распараллелить приложения - иными словами , какова будет реальная , а не пиковая производительность . Над решением этой проблемы сейчас и работают участники прое к та. Литература 1. http://www.citforum.ru/hardware/svk/glava_ 1 2.shtml 2. http://www.beowulf.com 3. http://newton.gsfc.nasa.gov/thehive/ 4. LoBoS, http://www.lobos.nih.gov 5. http://parallel.ru/news/kentucky_klat2.html 6. http://parallel.ru/news/anl_chi bacity.html 7. http://parallel.ru/cluster/ 8. http://www.ptc.spbu.ru Resources MIMD компьютеры MIMD компьютер имеет N процессоров , независимо исполняющих N потоков команд и обрабатывающих N потоков данных . Каждый процессор функционирует под управление м собственного потока команд , то есть MIMD компьютер может параллельно выполнять совершенно разные программы . MIMD архитектуры далее классифицируются в зависимости от физической организации памяти , то есть имеет ли процессор свою собственную локальную память и обращается к другим блокам памяти , используя коммутирующую сеть , или коммутирующая сеть подсоединяет все процессоры к общедоступной памяти . Исходя из организации памяти , различают следующие типы параллельных архитектур : · Компьютеры с распределенной памятью ( Distri buted memory ) Процессор может обращаться к локальной памяти , может посылать и получать сообщения , передаваемые по сети , соединяющей процессоры . Сообщения используются для осуществления связи между процессорами или , что эквивалентно , для чтения и записи уда ленных блоков памяти . В идеализированной сети стоимость посылки сообщения между двумя узлами сети не зависит как от расположения обоих узлов , так и от трафика сети , но зависит от длины сообщения . · Компьютеры с общей (разделяемой ) памятью ( True shared memory ) Все процессоры совместно обращаются к общей памяти , обычно , через шину или иерархию шин . В ид еализированной PRAM (Parallel Random Access Machine - параллельная машина с произвольным доступом ) модели , часто используемой в теоретических исследованиях параллельных алгоритмов , любой процессор может обращаться к любой ячейке памяти за одно и то же вре м я . На практике масштабируемость этой архитектуры обычно приводит к некоторой форме иерархии памяти . Частота обращений к общей памяти может быть уменьшена за счет сохранения копий часто используемых данных в кэш-памяти , связанной с каждым процессором . Дост у п к этому кэш-памяти намного быстрее , чем непосредственно доступ к общей памяти . · Компьюте ры с виртуальной общей (разделяемой ) памятью ( Virtual shared memory ) Общая память как таковая отсутствует . Каждый процессор имеет собственную локальную память и может обращаться к локальной памяти других процессоров , используя "глобальный адрес ". Если "гл обальный адрес " указывает не на локальную память , то доступ к памяти реализуется с помощью сообщений , пересылаемых по коммуникационной сети . Примером машин с общей памятью могут служить : · Sun Microsystems (многопроцессорные рабочие станции ) · Silicon Graphics Challenge (многопроцессорные рабочие станции ) · Sequent Symmetry · Convex · Cray 6400. Следующие компьютеры относятся к классу машин с распределенной памятью · IBM-SP1/SP2 · Parsytec GC · CM5 (Thinking Machine Corporation) · Cray T3D · Paragon (Intel Corp.) · KSR1 · nCUBE · Meiko CS-2 · AVX (Alex Parallel Computers) · IMS B008 MIMD архитектуры с распределенной памятью можно так же классифицировать по пропускной способности коммутирующей сети . Например , в архитектуре , в которой пары из п роцессора и модуля памяти (процессорный элемент ) соединены сетью с топологий реш§тка , каждый процессор имеет одно и то же число подключений к сети вне зависимости от числа процессоров компьютера . Общая пропускная способность такой сети растет линейно относ ительно числа процессоров . С другой стороны в архитектуре , имеющей сеть с топологий гиперкуб , число соединений процессора с сетью является логарифмической функцией от числа процессоров , а пропускная способность сети растет быстрее , чем линейно по отношению к числу процессоров . В топологии клика каждый процессор должен быть соединен со всеми другими процессорами . Сеть с топологией 2D реш§тка ( тор ) Сеть с топологией 2D тор Сеть с топологией клика Национального Центра Суперкомпьютерных Приложений ( университет шт . Иллинойс , Urbana-Champaign) MPI: The Message Passing Interface Название "интерфейс передачи сообщений ", говорит само за себя . Это хорошо стандартизованный механизм для построения параллельных программ в модели обмена сообщениями . Существую т стандартные "привязки " MPI к языкам С /С ++, Fortran 77/90. Существуют бесплатные и коммерческие реализации почти для всех суперкомпьютерных платформ , а так же для сетей рабочих станций UNIX и Windows NT. В настоящее время MPI - наиболее широко используемый и динамично развивающийся интерфейс из своего класса . Beowulf - кластеры на базе ОС Linux Михаил Кузьминский "Открытые системы " На пороге тысячелетий мы имеем все шансы стать свидетелями монополизации компьютерной индустрии , которая может охватить как микропроцессоры , так и операционные системы . Конечно же , речь идет о микропроцессорах от Intel (Merced грозит вытеснить процессоры архитектуры RISC) и ОС от Microsoft. В обоих случаях успех во многом определяется мощью маркетинговой машины , а не только "потребительскими " свойствами выпускаемых продуктов . По моему мнению , компьютерное сообщество еще не осознало масштабов возможных последствий. Некоторые специал исты сопоставляют потенциальную монополизацию компьютерного рынка с наблюдавшимся в 70-е годы монопольным господством IBM - как в области мэйнфреймов , так и операционных систем . Я долгое время работаю с этой техникой и по мере распространения в нашей стра н е ОС Unix все больше осознаю многие преимущества операционной системы MVS производства IBM. Тем не менее я разделяю распространенную точку зрения , что подобная монополия не способствовала ускорению прогресса. Западные университеты , которые в свое время одн ими из первых перешли к использованию Unix, по-прежнему в своих перспективных разработках опираются на эту систему , причем в качестве платформы все чаще избирается Linux. Одной из поучительных академических разработок и посвящена эта статья. Linux как обще ственное явление Мы уже не удивляемся тому , что Linux cтала заметным явлением компьютерной жизни . В сочетании с богатейшим набором свободно распространяемого программного обеспечения GNU эта операционная система стала чрезвычайно популярна у некоммерческих пользователей как у нас , так и за рубежом . Ее популярность все возрастает . Версии Linux существуют не только для платформы Intel x86, но и для других процессорных архитектур , в том числе DEC Alр ha, и широко используются для приложений Internet, а также в ы полнения задач расчетного характера . Одним словом , Linux стала своеобразной "народной операционной системой ". Hельзя , впрочем , сказать , что у Linux нет слабых мест ; одно из них - недостаточная поддержка SMР-архитектур. Самый дешевый способ нарастить компью терные ресурсы , в том числе вычислительную мощность , - это построить кластер . Массивно-параллельные суперкомпьютеры с физически и логически распределенной оперативной памятью также можно рассматривать как своеобразные кластеры . Наиболее яркий пример такой архитектуры - знаменитый компьютер IBM SР 2. Весь вопрос в том , что связывает компьютеры (узлы ) в кластер . В "настоящих " суперкомпьютерах для этого используется специализированная и поэтому дорогая аппаратура , призванная обеспечить высокую пропускную способ ность . В кластерах , как правило , применяются обычные сетевые стандарты - Ethernet, FDDI, ATM или HiРР I. Кластерные технологии с использованием операционной системы Linux начали развиваться несколько лет назад и стали доступны задолго до появления Wolfр ack для Windows NT. Так в середине 90-х годов и возник проект Beowulf. Герой эпической поэмы "Беовульф " - это скандинавский эпос , повествующий о событиях VII - первой трети VIII века , участником которых является одноименный герой , прославивший себя в сражениях . Неизвестно , задумывались ли авторы проекта , с кем ныне будет сражаться Beowulf (вероятно , с Windows NT?), однако героический образ позволил объединить в консорциум около полутора десятков организаций (главным образом университетов ) в Соединенных Штатах. Нельзя сказать , что среди участников проекта доминируют суперкомпьютерные центры , однако кластеры "Локи " и "Мегалон " установлены в таких известных в мире высокопроизводительных вычислений центрах , как Лос-Аламос и лаборатория Sandia Министерства энергетик и США ; ведущие разработчики проекта - специалисты агентства NASA. Вообще , все без исключения кластеры , созданные участниками проекта , получают громкие имена. Кроме Beowulf, известна еще одна близкая кластерная технология - NOW. В NOW персональные компьютеры обычно содержат информацию о самих себе и поставленных перед ними задачах , а в обязанности системного администратора такого кластера входит формирование данной информации . Кластеры Beowulf в этом отношении (то есть с точки зрения системного администратор а ) проще : там отдельные узлы не знают о конфигурации кластера . Лишь один выделенный узел содержит информацию о конфигурации ; и только он имеет связь по сети с внешним миром . Все остальные узлы кластера объединены локальной сетью , и с внешним миром их связы в ает только "тоненький мостик " от управляющего узла. Узлами в технологии Beowulf являются материнские платы ПК . Обычно в узлах задействованы также локальные жесткие диски . Для связи узлов используются стандартные типы локальных сетей . Этот вопрос мы рассмот рим ниже , сначала же остановимся на программном обеспечении. Его основу в Beowulf составляет обычная коммерчески доступная ОС Linux, которую можно приобрести на CD-ROM. Первое время большинство участников проекта ориентировались на компакт-диски , издаваемы е Slackware, а сейчас предпочтение отдает cя версии RedHat. В обычной ОС Linux можно инсталлировать известные средства распараллеливания в модели обмена сообщениями (LAM MР I 6.1, Р VM 3.3.11 и другие ). Можно также воспользоваться стандартом р -threads и стан дартными средствами межпроцессорного взаимодействия , входящими в любую ОС Unix System V. В рамках проекта Beowulf были выполнены и серьезные дополнительные разработки. Прежде всего следует отметить доработку ядра Linux 2.0. В процессе построения кластеров выяснилось , что стандартные драйверы сетевых устройств в Linux весьма неэффективны . Поэтому были разработаны новые драйверы (автор большинства разработок - Дональд Бекер ), в первую очередь для сетей Fast Ethernet и Gigabit Ethernet, и обеспечена возможнос т ь логического объединения нескольких параллельных сетевых соединений между персональными компьютерами , что позволяет из дешевых локальных сетей , обладающих более чем скромной скоростью , соорудить сеть с высокой совокупной пропускной способностью. Как и во всяком кластере , в каждом узле живет своя копия ядра ОС . Благодаря доработкам обеспечена уникальность идентификаторов процессов в рамках всего кластера , а не отдельных узлов , а также "удаленная доставка " сигналов ОС Linux. Кроме того , надо отметить функции загрузки по сети (netbooting) при работе с материнскими платами Intel Р R 440FX, причем они могут применяться и для работы с другими материнскими платами , снабженными AMI BIOS. Очень интересные возможности предоставляют механизмы сетевой виртуальной памяти (Network Virtual Memory) или разделяемой распределенной памяти DSM (Distributed Shared Memory), позволяющие создать для процесса определенную "иллюзию " общей оперативной памяти узлов. Сеть - дело тонкое Поскольку для распараллеливания суперкомпьютерных пр иложений вообще , и кластерных в частности , необходима высокая пропускная способность и низкие задержки для обмена сообщениями между узлами , сетевые характеристики становятся параметрами , определяющими производительность кластера . Выбор микропроцессоров дл я узлов очевиден - это стандартные процессоры производства Intel; а вот с топологией кластера , типом сети и сетевых плат можно поэкспериментировать . Именно в этой области и проводились основные исследования. При анализе различных сетевых плат ПК , представле нных сегодня на рынке , особое внимание было уделено таким характеристикам , как эффективная поддержка широковещательной рассылки (multicasting), поддержка работы с пакетами больших размеров и т . д . Основные типы локальных сетей , задействованные в рамках пр о екта Beowulf, - это Gigabit Ethernet, Fast Ethernet и 100-VG AnyLAN. (Возможности ATM-технологии также активно исследовались , но , насколько известно автору , это делалось вне рамок данного проекта .) Как самому собрать суперкомпьютер Проанализировав итоги ра бот , выполненных в рамках проекта Beowulf, можно прийти к следующему выводу : найденные решения позволяют самостоятельно собрать высокопроизводительный кластер на базе стандартных для ПК компонентов и использовать обычное программное обеспечение . Среди сам ы х крупных экземпляров нельзя не отметить 50-узловой кластер в CESDIS, включающий 40 узлов обработки данных (на базе одно - и двухпроцессорных плат Р entium Р ro/200 МГц ) и 10 масштабирующих узлов (двухпроцессорная плата Р entium Р ro/166 МГц ). Соотношение стои м ость /пиковая производительность в таком кластере представляется очень удачным . Вопрос в том , насколько эффективно удается распараллелить приложения - иными словами , какова будет реальная , а не пиковая производительность . Над решением этой проблемы сейчас и работают участники проекта. Следует отметить , что построение кластеров из обычных ПК становится сегодня достаточно модным в научной среде . Некоторые академические институты в нашей стране также планируют создать подобные кластеры . При объединении в клас тер компьютеров разной мощности или разной архитектуры , говорят о гетерогенных (неоднородных ) кластерах . Узлы кластера могут одновременно использоваться в качестве пользовательских рабочих станций . В случае , когда это не нужно , узлы могут быть существенно облегчены и /или установлены в стойку . Используются стандартные для рабочих станций ОС , чаще всего , свободно распространяемые - Linux/FreeBSD, вместе со специальными средствами поддержки параллельного программирования и распределения нагрузки . Программиров ание , как правило , в рамках модели передачи сообщений (чаще всего - MPI ). Более подробно она рассмотрена в следующем параграфе. История развития кластерной архитектуры. Компания DEC первой анонсировала концепцию кластерной системы в 1983 году , определив е е как группу объединенных между собой вычислительных машин , представляющих собой единый узел обработки информации. Один из первых проектов , давший имя целому классу параллельных систем – кластеры Beowulf [2] – возник в центре NASA Goddard Space Flight Center для поддержки необходимыми вычислительными ресурсами проекта Earth and Space Sciences. Проект Beowulf стартовал летом 1994 года , и вскоре был собран 16-процессорный кластер на процессорах Intel 486DX4/100 МГц . На каждом у з ле было установлено по 16 Мбайт оперативной памяти и по 3 сетевых Ethernet-адаптера . Для работы в такой конфигурации были разработаны специальные драйверы , распределяющие трафик между доступными сетевыми картами. Позже в GSFC был собран кластер theHIVE – H ighly-parallel Integrated Virtual Environment [3], структура которого показана на рис . 2. Этот кластер состоит из четырех подкластеров E, B, G, и DL, объединяя 332 процессора и два выделенных хост-узла . Все узлы данного кластера работают под управлением R e dHat Linux. Рис . 5 В 1998 году в Лос-Аламосской национальной лаборатории астрофизик Майкл Уоррен и другие ученые из группы теоретической астрофизики построили суперкомпьютер Ava lon, который представляет собой Linux-кластер на базе процессоров Alpha 21164A с тактовой частотой 533 МГц . Первоначально Avalon состоял из 68 процессоров , затем был расширен до 140. В каждом узле установлено по 256 Мбайт оперативной памяти , жесткий диск н а 3 Гбайт и сетевой адаптер Fast Ethernet. Общая стоимость проекта Avalon составила 313 тыс . долл ., а показанная им производительность на тесте LINPACK – 47,7 GFLOPS, позволила ему занять 114 место в 12-й редакции списка Top500 рядом с 152-процессорной си с темой IBM RS/6000 SP. В том же 1998 году на самой престижной конференции в области высокопроизводительных вычислений Supercomputing ’ 98 создатели Avalon представили доклад « Avalon: An Alpha/Linux Cluster Achieves 10 Gflops for $150k» , получивший первую пре м ию в номинации «наилучшее отношение цена /производительность». В апреле текущего года в рамках проекта AC3 в Корнелльском Университете для биомедицинских исследований был установлен кластер Velocity+, состоящий из 64 узлов с двумя процессорами Pentium III/7 33 МГц и 2 Гбайт оперативной памяти каждый и с общей дисковой памятью 27 Гбайт . Узлы работают под управлением Windows 2000 и объединены сетью cLAN компании Giganet. Проект Lots of Boxes on Shelfes [4] реализован в Национальном Институте здоровья США в апре ле 1997 года и интересен использованием в качестве коммуникационной среды технологии Gigabit Ethernet. Сначала кластер состоял из 47 узлов с двумя процессорами Pentium Pro/200 МГц , 128 Мбайт оперативной памяти и диском на 1,2 Гбайт на каждом узле . В 1998 г оду был реализован следующий этап проекта – LoBoS2, в ходе которого узлы были преобразованы в настольные компьютеры с сохранением объединения в кластер . Сейчас LoBoS2 состоит из 100 вычислительных узлов , содержащих по два процессора Pentium II/450 МГ ц , 256 Мбайт оперативной и 9 Гбайт дисковой памяти . Дополнительно к кластеру подключены 4 управляющих компьютера с общим RAID-массивом емкостью 1,2 Тбайт. Одной из последних кластерных разработок стал суперкомпьютер AMD Presto III, представляющий собой кла стер Beowulf из 78 процессоров Athlon. Компьютер установлен в Токийском Технологическом Институте . На сегодняшний день AMD построила 8 суперкомпьютеров , объединенных в кластеры по методу Beowulf, работающих под управлением ОС Linux. Кластеры IBM RS/6000 Компания IBM предлагает несколько типов слабо связанных систем на базе RS/6000, объединенных в кластеры и работающих под управлением программного продукта High-Availability Clastered Multiprocessor/6000 (HACMP/6000). Узлы кластера работают параллельно , ра зделяя доступ к логическим и физическим ресурсам пользуясь возможностями менеджера блокировок , входящего в состав HACMP/6000. Начиная с объявления в 1991 году продукт HACMP/6000 постоянно развивался . В его состав были включены параллельный менеджер ре сурсов , распределенный менеджер блокировок и параллельный менеджер логических томов , причем последний обеспечил возможность балансировки загрузки на уровне всего кластера . Максимальное количество узлов в кластере возросло до восьми . В настоящее время в со с таве кластера появились узлы с симметричной многопроцессорной обработкой , построенные по технологии Data Crossbar Switch, обеспечивающей линейный рост производительности с увеличением числа процессоров . Кластеры RS/6000 строятся на базе локальных сетей Et hernet, Token Ring или FDDI и могут быть сконфигурированы различными способами с точки зрения обеспечения повышенной надежности : · Горячий резерв или простое переключение в случае отказа . В этом режиме активный узел выполняет прикладные задачи , а резервн ый может выполнять некритичные задачи , которые могут быть остановлены в случае необходимости переключения при отказе активного узла . · Симметричный резерв . Аналогичен горячему резерву , но роли главного и резервного узлов не фиксированы . · Взаимный подх ват или режим с распределением нагрузки . В этом режиме каждый узел в кластере может "подхватывать " задачи , которые выполняются на любом другом узле кластера . · IBM SP2 IBM SP2 лидируют в списке крупнейших суперкомпьютеров TOP500 по числу инсталляций (14 1 установка , а всего в мире работает 8275 таких компьютеров с общим числом узлов свыше 86 тыс . В основу этих суперкомпьютеров заложенный в основу архитектуры кластерный подход с использованием мощного центрального коммутатора . IBM использует этот подход у ж е много лет . Общая архитектура SP2 Общее представление об архитектуре SP2 дает рис . 1. Основная ее особенность архитектуры — применение высокоскоростного коммутатора с низкими задержками для соединения узлов между собой . Эта внешне предельно простая схема , как показал опыт , оказалась чрезвычайно гибкой . Сначала узлы SP2 были однопроцессорными , затем появились узлы с SMP-архитектурой . Рис . 7 Собственно , все детали скрываются в строении узлов . Мало того , узлы бывают различных типов , причем даже процессоры в соседних узлах могут быть разными . Это обеспечивает большую гибкость выбора конфигураций . Общее число узлов в вычислительной системе может достигать 512. Узлы SP2 фактиче ски являются самостоятельными компьютерами , и их прямые аналоги продаются корпорацией IBM под самостоятельными названиями . Наиболее ярким примером этого является четырехпроцессорный SMP-сервер RS/6000 44P-270 c микропроцессорами Power3-II, который сам по с ебе можно отнести к классу компьютеров среднего класса или даже к мини-суперкомпьютерам. Устанавливавшиеся в узлах SP2 микропроцессоры развивались по двум архитектурным линиям : Power — Power2 — Power3 — Power3-II и по линии PowerPC вплоть до модели 604e с тактовой частотой 332 МГц . Традиционными для SP2 являются «тонкие» (Thin Node) и «широкие» (Wide Node) узлы , обладающие SMP-архитектурой . В них могут устанавливаться как PowerPC 604e (от двух до четырех процессоров ), так и Power3-II (до четырех ). Емкость оперативной памяти узлов составляет от 256 Мбайт до 3 Гбайт (при использовании Power3-II — до 8 Гбайт ). Основные отличия между тонкими и широкими узлами касаются подсистемы ввода /вывода . Широкие узлы предназначены для задач , требующих более мощных возможн о стей ввода /вывода : в них имеется по десять слотов PCI (в том числе три 64-разрядных ) против двух слотов в тонких узлах . Соответственно , и число монтажных отсеков для дисковых устройств в широких узлах больше. Быстродействие коммутатора характеризуется низк ими величинами задержек : 1,2 мс (до 2 мс при числе узлов свыше 80). Это на порядок лучше того , что можно получить в современных Linux-кластерах Beowulf. Пиковая пропускная способность каждого порта : она составляет 150 Мбайт /с в одном направлении (то есть 3 00 Мбайт /с при дуплексной передаче ). Той же пропускной способностью обладают и расположенные в узлах SP2 адаптеры коммутатора . IBM приводит также отличные результаты по задержкам и пропускной способности. Наиболее мощные узлы SP2 — «высокие» (High Node). В ысокий узел — это комплекс , состоящий из вычислительного узла с подсоединенными устройствами расширения ввода /вывода в количестве до шести штук . Такой узел также обладает SMP-архитектурой и содержит до 8 процессоров Power3 с тактовой частотой 222 или 375 М Гц. Рис . 8 Кроме того , узел этого типа содержит плату ввода /вывода , которая также подсоединена к системной плате . Плата ввода /вывода содержит два симметричных логических блока SABER, через которые осуществляется передача данных к внешним устройствам , таким как диски и телекоммуникационное оборудование . На плате ввода /вывода имеется четыре слота 64-разрядной шины PCI и один 32-разрядный слот (частота 33 МГц ), а также интег рированы контроллеры UltraSCSI, Ethernet 10/100 Мбит /с , три последовательных и один параллельный порт. C появлением высоких узлов и микропроцессоров Power3-II/375 МГц на тестах Linpack parallel системы IBM SP2 достигли производительности 723,4 GFLOPS. Этот результат достигнут при использовании 176 узлов (704 процессора ). Учитывая , что узлов можно установить до 512, этот результат показывает , что серийно выпускаемые IBM SP2 потенциально близки к отметке 1 TFLOPS. Кластерные решения Sun Microsystems Sun Micr osystems предлагает кластерные решения на основе своего продукта SPARCclaster PDB Server, в котором в качестве узлов используются многопроцессорные SMP-серверы SPARCserver 1000 и SPARCcenter 2000. Максимально в состав SPARCserver 1000 могут входить до вос ь ми процессоров , а в SPARCcenter 2000 до 20 процессоров SuperSPARC. В комплект базовой поставки входят следующие компоненты : два кластерных узла на основе SPARCserver 1000/1000E или SPARCcenter 2000/2000E, два дисковых массива SPARCstorage Array, а также п а кет средств для построения кластера , включающий дублированное оборудование для осуществления связи , консоль управления кластером Claster Management Console, программное обеспечение SPARCclaster PDB Software и пакет сервисной поддержки кластера . Для обеспе чения высокой производительности и готовности коммуникаций кластер поддерживает полное дублирование всех магистралей данных . Узлы кластера объединяются с помощью каналов SunFastEthernet с пропускной способностью 100 Мбит /с . Для подключения дисковых подсис т ем используется оптоволоконный интерфейс Fibre Channel с пропускной способностью 25 Мбит /с , допускающий удаление накопителей и узлов друг от друга на расстояние до 2 км . Все связи между узлами , узлами и дисковыми подсистемами дублированы на аппаратном уро в не . Аппаратные , программные и сетевые средства кластера обеспечивают отсутствие такого места в системе , одиночный отказ или сбой которого выводил бы всю систему из строя . Университетские проекты Интересная разработка Университета штата Кентукки – кластер KLAT2 (Kentucky Linux Athlon Testbed 2 [5] ). Система KLAT2 состоит из 64 бездисковых узлов с процессорами AMD Athlon/700 МГц и оперативной памятью 128 Мбайт на каждом . Программное обеспечение , компиляторы и математические библиотеки (SCALAPACK, BLACS и AT LAS) были доработаны для эффективного использования технологии 3DNow! процессоров AMD, что позволило увеличить производительность . Значительный интерес представляет и использованное сетевое решение , названное « Flat Neighbourghood Network» (FNN). В каждом у зле установлено четыре сетевых адаптера Fast Ethernet от Smartlink, а узлы соединяются с помощью девяти 32-портовых коммутаторов . При этом для любых двух узлов всегда есть прямое соединение через один из коммутаторов , но нет необходимости в соединении все х узлов через единый коммутатор . Благодаря оптимизации программного обеспечения под архитектуру AMD и топологии FNN удалось добиться рекордного соотношения цена /производительность – 650 долл . за 1 GFLOPS. Идея разбиения кластера на разделы получила интересн ое воплощение в проекте Chiba City [6], реализованном в Аргоннской Национальной лаборатории . Главный раздел содержит 256 вычислительных узлов , на каждом из которых установлено два процессора Pentium III/500 МГц , 512 Мбайт оперативной памяти и локальный диск емкостью 9 Гбайт . Кроме вычислительного раздела в систему входят раздел визуализации (32 персональных компьютера IBM Intellistation с графическими платами Matrox Millenium G400, 512 Мбайт оперативной памяти и дисками 300 Гбайт ), раздел хранения данны х (8 серверов IBM Netfinity 7000 с процессорами Xeon/500 МГц и дисками по 300 Гбайт ) и управляющий раздел (12 компьютеров IBM Netfinity 500). Все они объединены сетью Myrinet, которая используется для поддержки параллельных приложений , а также сетями Gigab i t Ethernet и Fast Ethernet для управляющих и служебных целей . Все разделы делятся на «города» (town) по 32 компьютера . Каждый из них имеет своего «мэра» , который локально обслуживает свой «город» , снижая нагрузку на служебную сеть и обеспечивая быстрый до с туп к локальным ресурсам. Кластерные проекты в России В России всегда была высока потребность в высокопроизводительных вычислительных ресурсах , и относительно низкая стоимость кластерных проектов послужила серьезным толчком к широкому распространению подо бных решений в нашей стране . Одним из первых появился кластер «Паритет» , собранный в ИВВиБД и состоящий из восьми процессоров Pentium II, связанных сетью Myrinet. В 1999 году вариант кластерного решения на основе сети SCI был апробирован в НИЦЭВТ , который, по сути дела , и был пионером использования технологии SCI для построения параллельных систем в России. Высокопроизводительный кластер на базе коммуникационной сети SCI, установлен в Научно-исследовательском вычислительном центре Московского государственно го университета [7] . Кластер НИВЦ включает 12 двухпроцессорных серверов «Эксимер» на базе Intel Pentium III/500 МГц , в общей сложности 24 процессора с суммарной пиковой производительностью 12 млрд . операций в секунду . Общая стоимость системы – около 40 тыс . долл . или примерно 3,33 тыс . за 1 GFLOPS. Вычислительные узлы кластера соединены однонаправленными каналами сети SCI в двумерный тор 3x4 и одновременно подключены к центральному серверу через вспомогательную сеть Fast Ethernet и коммутатор 3Com Superstac k. Сеть SCI – это ядро кластера , делающее данную систему уникальной вычислительной установкой суперкомпьютерного класса , ориентированной на широкий класс задач . Максимальная скорость обмена данными по сети SCI в приложениях пользователя составляет более 80 Мбайт /с , а время латентности около 5,6 мкс . При построении данного вычислительного кластера использовалось интегрированное решение Wulfkit, разработанное компаниями Dolphin Interconnect Solutions и Scali Computer (Норвегия ). Основным средством параллельно го программирования на кластере является MPI (Message Passing Interface) версии ScaMPI 1.9.1. На тесте LINPACK при решении системы линейных уравнений с матрицей размера 16000х 16000 реально полученная производительность составила более 5,7 GFLOPS. На теста х пакета NPB производительность кластера сравнима , а иногда и превосходит производительность суперкомпьютеров семейства Cray T3E с тем же самым числом процессоров. Основная область применения вычислительного кластера НИВЦ МГУ – это поддержка фундаментальных научных исследований и учебного процесса . Из других интересных проектов следует отметить решение , реализованное в Санкт-Петербургском университете на базе технологии Fast Ethernet [8]: собранные кластеры могут использоваться и как полноценные независимые учебные классы , и как единая вычислительная установка , решающая единую задачу . В Самарском научном центре пошли по пути создания неоднородного вычислительного кластера , в составе которого работают компьютеры на базе процессоров Alpha и Pentium III. В С анкт-Петербургском техническом университете собирается установка на основе процессоров Alpha и сети Myrinet без использования локальных дисков на вычислительных узлах . В Уфимском государственном авиационном техническом университете проектируется кластер н а базе двенадцати Alpha-станций , сети Fast Ethernet и ОС Linux.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
Каждый раз, когда ты пишешь "мне нравитЬся", в мире умирает один учитель русского языка.
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, реферат по радиоэлектронике "Кластерные системы", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru