Суперкомпьютер Jaguar-XT5

Оглавление

 

 

Введение

Jaguar — суперкомпьютер класса массово-параллельных систем. Использовался с 2009 по 2012 года в Национальном центре вычислительных наук в Оук-Ридже, штат Теннеси. После создания, Jaguar Возглавил список TOP-500 суперкомпьютеров в 2010 году. Ради этого система Jaguar модернизировалась не один год, в результате чего в ней оказались интегрированы суперкомпьютеры Cray XT4 и XT5. Ранее самым мощным считался суперкомпьютер IBM Roadrunner, с производительностью 1,026 петафлоп. Jaguar планировалось использовать, например, для моделирования климатических изменений. Также суперкомпьютер будет задействован в такой области, как возобновляемые источники энергии.

 

Конструкция и компоновка

Компания Cray в недавнем прошлом  предлагала суперкомпьютеры разной архитектуры – векторные, многопоточные, на базе микросхем FPGA-архитектуры, но, пожалуй, наибольший успех получили МРР-системы семейства ХТ на базе процессоров AMD Opteron.

Cray XT3 с одноядерными Opteron появился  вскоре после выхода этих процессоров  на рынок в 2005 году, затем появились  конфигурации с двухъядерными  процессорами. XT4 на базе двухъядерных Opteron был выпущен в 2007 году. ХТ5 с четырехъядерными процессорами Barcelona/2,6 ГГц (а затем и Shanghai/2,7 ГГц) и шестидерными Istanbul/2,6 ГГц, поставлялся уже в 2009 году [1-3]. При этом число процессорных разъемов в узле XT5 возросло до двух. После этого в Cray объявили о выпуске систем Cray XT6 на базе шести- и восьмиядерных Opteron серии 6100 [3].

Характеризуя МРР-архитектуру Cray XT в целом, следует подчеркнуть, что  она включает узлы, связанные «фирменным»  межсоединением SeaStar c топологией трехмерного тора. Остановимся на рассмотрении систем Cray XT5 и ХТ6. Узлы ХТ5 содержат ASIC-микросхему, обеспечивающую работу с межсоединением SeaStar2+, два процессорных разъема для Opteron и слоты для модулей DIMM (рис. 1). В Cray XT4 узел был устроен аналогичным образом, но имел один процессорный разъем.

 

 

Рис. 1. Узел XT5

 

Для связи микросхемы межсоединения  с Opteron естественным образом применяются  интегрированные в микропроцессор интерфейсы каналов HyperTransport 2.0 (прямое подсоединение оперативной памяти к процессору – одна из основных особенностей всех моделей Opteron). В результате пропускная способность оперативной памяти масштабируется с числом процессоров, и в расчете на узел пропускная способность памяти составляет 25,6 Гбайт/с (применяется защищенная кодами ЕСС регистровая память DDR2-800). Емкость оперативной памяти узла составляет от 8 Гбайт до 32 Гбайт.

А вот процессоры в узле могут  применяться разные – четырехъядерные Barcelona и Shanghai с разными частотами, а также шестиядерные Istanbul. Соответственно, суммарное число ядер в узле составляет восемь или двенадцать, а пиковая производительность узла лежит в диапазоне примерно от 70 GFLOPS до 124 GFLOPS.

Типичный узел современного HPC-кластера также чаще всего является двухпроцессорным, а потому никаких серьезных отличий в архитектуре и производительности вычислительного узла ХТ5 мы не обнаружим, разве что межсоединение в узлах наиболее мощных кластеров из Тop500 – это обычно Infiniband.

Следующий уровень конструктива над  узлом XT5 – лезвие, содержащее четыре узла. При использовании Istanbul производительность лезвия достигает 500 GFLOPS; ему отвечает решетка узлов 1х2х2.

В стойке можно  реализовать решетку узлов 1х4х24 (24 лезвия по четыре узла) с производительностьюдо 12 TFLOPS при емкости оперативной памяти 1,54 Тбайт (из расчета 16 Гбайт на узел), а в системе XT5 в целом – решетку 25х32х24. Такой системе отвечает производительность порядка 2 PFLOPS и емкость памяти 300 Тбайт [4]. В соответствии с указанными на сайте Cray спецификациями ХТ5, стойка занимает площадь примерно 0,6м х 1,4 м при высоте около 2 м, весит порядка 700 кг и потребляет не более 43 кВт.

 

Рис.2. Схема межсоединения  Seastar2+

 

Межсоединение SeaStar2+ поддерживается благодаря соответствующей микросхеме (рис. 2), обеспечивающей маршрутизацию и имеющей шесть портов с пропускной способностью 9,6 Гбайт/с на порт. Это отвечает суммарной пропускной способности микросхемы в 57,6 Гбайт/с, в то время как задержка передачи из узла в узел не превышает 2 мкс. Кроме шестипортового маршрутизатора и интерфейса HyperTransport, микросхема SeaStar2+ содержит механизм прямого доступа в память (Direct Memory Access, DMA), поддержку интерфейса управления лезвием и другие средства.

Для повышения  надежности в SeaStar2+ применяются коды ЕСС, используется адаптивная маршрутизация, а сбойные каналы можно «обойти» без перезагрузки.

В SeaStar2+ для  передачи данных не надо устанавливать  соединения, поэтому нет кэширующих очередей между парами узлов. Это  облегчает работу Cray XT c большим числом узлов. Удвоение числа виртуальных каналов (до четырех) по сравнению с предыдущим поколением SeaStar позволило поднять поддерживаемую пропускную способность на 30%, составляющую 6 Гбайт/с.

Заметим, что более высокая пропускная способность межсоединения уже  могла бы натолкнуться на узкое место в виде канала HyperTransport (6,4 Гбайт/с для HyperTransport 2.0). Для сравнения, пропускная способность современного варианта Infiniband 4x QDR составляет 4 Гбайт/с для однонаправленной передачи при аппаратных задержках на уровне меньше 2 мкс.

Таким образом, аппаратура и узлов, и межсоединения Cray XT5 по производительности не превосходит соответствующие  параметры Infiniband-кластеров. Выгоды Cray XT5 связаны в основном с возможностями построения систем со сверхбольшим числом узлов.

В Cray XT5 межсоединение SeaStar2+ позволяет  объединить сотни стоек. Кроме моделей  ХТ5, Сray поставляет XT5m (от англ. medium, «средний»), которые имеют не столь большие, как ХТ5, конфигурации. В ХТ5m задействованы не все шесть, а только четыре порта маршрутизатора SeaStar, соответственно применяется иная топология межсоединения – двумерный тор. При этом пропускная способность межсоединения узла уменьшается до 38,4 Гбайт/с.

Модуль SeaStar2+ реализован как съемный, что позволяет осуществлять модернизацию межсоединения отдельно от процессоров и памяти. Поэтому Cray XT4 можно модернизировать до XT5, Cray XT5 – до XT6 (в последнем случае меняются процессоры и оперативная память), а в ХТ6 межсоединение, можно заменить на модуль на базе перспективной коммуникационной микросхемы Cray Gemini, что будет отвечать переходу к системам, получившим известность под кодовым названием Baker. Затем, в 2011 году, стала возможна модернизация с переходом на процессоры AMD Bulldozer с 12 или 16 ядрами, которые будут изготавливаться по 32-нанометровой технологии [2].

В трехмерной решетке часть узлов  может быть выделена в качестве сервисных  узлов, которые имеют один, а не два процессорных разъема, а для связи с «внешним миром» могут применяться шины PCI-Express [1,5]. Дополнительно могут использоваться и сетевые протоколы Gigabit Ethernet, 10 Gigabit Ethernet, Infiniband, а также Fibre Channel. Возможно подключение дисковых массивов Fibre Channel и SATA.

Такое подключение жестких дисков характерно, когда применяются одиночные  суперкомпьютеры Cray XT. Узлы, через которые  происходит такое подсоединение, Cray называет SIO-узлами (Storage-I/O).

Cказанного во многом уже достаточно  для того, чтобы понять целевую нишу Cray XT5 – эти системы в первую очередь представляют альтернативу большим и сверхбольшим кластерам. Cray XT5 – вычислительная система, обладающая высокой плотностью упаковки, эффективным энергопотреблением и системой охлаждения. XT5 обеспечивает высокую надежность крупномасштабных систем и относительную простоту эксплуатации (последнее во многом связано и с представлением XT как единой системы). C точки же зрения производительности при близких конфигурациях с кластером XT5 преимуществ не дает, но имеет, очевидно, более высокую стоимость.

 

Надежность и система  охлаждения

 

Когда в кластере десятки тысяч  и более узлов, выход из строя  отдельных компонентов (например, вентиляторов) – постоянная головная боль. MTBF (cреднее время между сбоями) для вентиляторов в кластере на 10 стоек (250 вентиляторов) составляет всего около 26 часов. В Сray XT5 применяются мощные турбовентиляторы, подающие холодный воздух снизу и имеющие MTBF на 10 стоек в 15 лет [6].

Кроме того, в лезвиях Cray XT применяются  управляющие процессоры, по одному на лезвие (24 на стойку), плюс управляющие процессоры стойки. Имеется специальная выделенная сеть управления на базе Gigabit Ethernet и рабочая станция управления системой.

В XT5 применяются избыточные блоки  питания и регуляторы вольтажа (VRM), что позволяет дополнительно повысить надежность. В спецификации к ХТ5 также указано, что для контроля за ядрами в системных лезвиях применяется специальная подсистема Cray Hardware Supervisory System, а к RAID-массивам обеспечиваются избыточные пути.

Базовым механизмом охлаждения в ХТ5 является воздушное, однако Cray предлагает также жидкостное охлаждение [6,7]. Сray применяет технологию ECOphlex с двухконтурной  системой охлаждения: ближе к аппаратуре охлаждение производится с применением  хладагента R134a, а уже его во внешнем контуре охлаждает вода.

Такая схема оказывается весьма эффективной с точки зрения энергопотребления: на охлаждение расходуется примерно 25% суммарной энергии, потребляемой вычислительной системой, в то время  как обычно эта величина достигает 45% [8].

ECOphlex – уже седьмая по счету  жидкостная система охлаждения  разработки Cray, в ней использована  технология с фазовым переходом  «жидкость-газ», что на сегодняшний  день признается наиболее эффективным  подходом, на порядок более эффективным, чем обычное водяное охлаждение. В ECOphlex можно применять теплую воду (до 16 градусов Цельсия), что способствует уменьшению затрат на охлаждение [6].

 

Заключение

Cамая мощная суперкомпьютерная  установка, базирующаяся на Cray XT5 – Jaguar содержит свыше 224 тыс. процессорных ядер, и при пиковой производительности свыше 2,3 PFLOPS на тестах High Performance Linpack достигла около 1,8 PFLOPS. Общая емкость оперативной памяти Jaguar составляет около 300 Тбайт, дискового пространства – 10 Пбайт, производительность ввода-вывода – 240 Гбайт/с. Энергопотребление Jaguar достигает 7 МВт [4].

Применение  систем семейства Cray XT целесообразно  в первую очередь в виде сверхбольших суперкомпьютерных конфигураций, где  ХТ имеет преимущества перед обычными кластерами по надежности, энергоэффективности, плотности упаковки, простоте обслуживания, а также эффективности программного обеспечения.

 

Литература

1. W.Oed, Cray Architecture and Software Support for PGAS Languages. HPDC-2009, Munchen, Jun. 12, 2009.
2. Т.Р. Morgan, Cray Previews XT6 Opteron Nodes. Nov. 24, 2009 (www.theregister.co.uk/hardware/hpc).
3. ethergrid.com/primeur/09/articles/live/LV-PL-06-09-37.html
4. A.S. Bland, Challenges for High Performance Computing Facilities. Computing in Atmospheric Science-2009 Workshop, Sept 3, 2009.
5. Cray XT5m Brochure. Сray, 2009.
6. S. Yerneny, Massive Parallel Processing Systems. Сray India, Oct. 13, 2009.
7. D. Gahm, M. Laatsch, Meeting the Demands of Computer Cooling with Superior Efficiency. Cray, 2009.
8. The World's Most Powerful Computers for Science. www.scidacreview.org/0901/html/hardware.html
9. Jaguar (суперкомпьютер) // http://ru.wikipedia.org/wiki/Jaguar_(%F1%F3%EF%E5%F0%EA%EE%EC%EF%FC%FE%F2%E5%F0)