Кластерные системы на основе ОС Linux. Построение учебного кластера

4.4 НАСТРОЙКА DSH (DISTRIBUTED SHELL)

Для инсталляции DSH понадобятся libdshconfig-0.20.8.tar.gz и dsh-0.23.5.tar.gz. Инсталлируется libdshconfig путем выполнения следующих действий:

./configure

make

make install

Процесс повторяется для пакета dsh.

Скажем, у нас есть небольшой кластер с несколькими узлами. Для выполнения набранной на всех узлах нужно создать файл $HOME/.dsh/group/clusterwname, в котором перечислены IP-адреса узлов вашего кластера. Например:

[root@inspon root]# cat ~/.dsh/group/mosix

192.168.10.220

192.168.10.84

Для примера мы выполним ls на каждой из этих машин. Мы задействуем -g для использования групп Mosix (таким образом, можно создать подмножества групп с различными конфигурациями).

[root@inspon root]# dsh -r ssh -g mosix ls

192.168.10.84: anaconda-ks.cfg

192.168.10.84: id_rsa.pub

192.168.10.84: install.log

192.168.10.84: install.log.syslog

192.168.10.84: openmosix-kernel-2.4.17-openmosix1.i686.rpm

192.168.10.84: openmosix-tools-0.2.0-1.i386.rpm

192.168.10.220: anaconda-ks.cfg

192.168.10.220: id_dsa.pub

192.168.10.220: id_rsa.pub

192.168.10.220: openmosix-kernel-2.4.17-openmosix1.i686.rpm

192.168.10.220: openmosix-tools-0.2.0-1.i386.rpm

192.168.10.220: oscar-1.2.1rh72

192.168.10.220: oscar-1.2.1rh72.tar.gz

Нужно отметить, что ни одна из машин не спросила пароля. Это потому что установлена RSA аутентификация для различных учётных записей. Если нужно выполнить команды с различными параметрами, нужно будет или заключить команды в кавычки:

[root@inspon root]# dsh -r ssh -g mosix "uname -a"

192.168.10.84: Linux omosix2.office.be.stone-it.com 2.4.17-openmosix1 #1 Wed May 29 14:32:28 CEST 2002 i686 unknown

192.168.10.220: Linux oscar0 2.4.17-openmosix1 #1 Wed May 29 14:32:28 CEST 2002 i686 unknown

или использовать опцию -c. Оба способа выдают практически то же самое на экран:

[root@inspon root]# dsh -r ssh -g mosix -c -- uname -a

192.168.10.220: Linux oscar0 2.4.17-openmosix1 #1 Wed May 29 14:32:28 CEST 2002 i686 unknown

192.168.10.84: Linux omosix2.office.be.stone-it.com 2.4.17-openmosix1 #1 Wed May 29 14:32:28 CEST 2002 i686 unknown

4.5 ТЕСТ ПРОИЗВОДИТЕЛЬНОСТИ КЛАСТЕРА.

После конфигурации кластера состоящего из двух виртуальных машин установленных на разных физических машинах, был проведен тест производительности. Исходя из информации опубликованной на сайте проекта OpenMosix, в качестве решаемой задачи было выбрано архивирование, так как до этого было экспериментально выяснено, что архиватор TAR и компрессор Bzip2 при своей работе порождают много дочерних процессов и альтернативных потоков. Для архивирования была выбрана директории с файлами размером 27889664 байт и 55 779 328 байт. Результаты тестов приведены в таблицах 1 и 2, и на рисунке 1 и 2.

Рисунок 1. Результат теста.

Рисунок 2. Результат теста.

5. ИТОГИ.

На протяжении выполнения работы были изучены вопросы организации кластерных вычислительных систем, их разновидности и классификация, были рассмотрены особенности и механизмы построения программного обеспечения для кластеров. Также был изучен один из современных подходов к построению хорошо распараллеливающегося программного обеспечения посредством использования интерфейса MPI (message passing interface), его реализация и особенности ЯВУ для разработки распараллеливающихся программ.

Далее были рассмотрены два современных наиболее известных подхода к построению кластерных архитектур – Beowulf и Mosix. И была сделана удачная попытка построить Linux – кластер на виртуальных машинах VMvare. Кластер на виртуальных Linux – машинах был построен по некоммерческой технологии Mosix – OpenMosix. Для этого было отредактировано и откомпилировано ядро операционной системы Linux, после чего были отконфигурированы параметры узлов кластера по управлением этого ядра , откомпилировано, установлено и настроено програмное обеспечение для управления ресурсами кластера, и сделан тест по анализу производительности полученного кластера (двумя машинами распараллеленная задача решается за ~82% времени , чем одной машиной).

При выполнении работы мною было получено много знаний и опыта в области организации и реализации кластерных вычислительных систем. Я буду рад, если мои наработки смогут стать полезными для получения знаний другими людьми.

6. СИПИСОК ИСТОЧНИКОВ ИНФОРМАЦИИ

http://www.parallel.ru/

http://yis.chat.ru/

http://www.beowulf.org/

http://openmosix.org.ru/

http://openmosix.sourceforge.net/

http://www.opennet.ru/

http://www.debian.org/

http://packages.debian.org/