Опубликована 58 редакция рейтинга самых высокопроизводительных суперкомпьютеров

Kate · 19 Ноя 2021

Опубликован 58-й выпуск рейтинга 500 самых высокопроизводительных компьютеров мира. В новом выпуске десятка лидеров не изменилась, но в рейтинг включено 4 новых российских кластера.
19, 36 и 40 места в рейтинге заняли российские кластеры Chervonenkis, Galushkin и Lyapunov, созданные компанией Яндекс для решения задач машинного обучения и обеспечивающие производительность 21.5, 16 и 12.8 петафлопс соответственно. Кластеры работают под управлением Ubuntu 16.04 и оснащены процесорами AMD EPYC 7xxx и GPU NVIDIA A100: кластер Chervonenkis насчитывает 199 узлов (193 тысячи ядер AMD EPYC 7702 64C 2GH и 1592 GPU NVIDIA A100 80G), Galushkin - 136 узлов (134 тысячи ядер AMD EPYC 7702 64C 2GH и 1088 GPU NVIDIA A100 80G), Lyapunov - 137 узлов (130 тысяч ядер AMD EPYC 7662 64C 2GHz и 1096 GPU NVIDIA A100 40G).
На 43 месте оказался новый кластер Сбербанка - Christofari Neo, работающий под управлением NVIDIA DGX OS 5 (редакция Ubuntu) и демонстрирующий производительность 11.9 петафлопс. Кластер насчитывает более 98 тысяч вычислительных ядер на базе CPU AMD EPYC 7742 64C 2.25GHz и поставляется с GPU NVIDIA A100 80GB. Ранее внедрённый кластер Сбербанка Christofari за пол года сместился с 61 на 72 место в рейтинге.
В рейтинге также остаются ещё два отечественных кластера: Lomonosov 2 - сместился с 199 на 241 место (в 2015 году кластер Lomonosov 2 занимал 31 место, а его предшественник Lomonosov в 2011 году - 13 место) и MTS GROM - сместился с 240 на 294 место. Таким образом число отечественных кластеров в рейтинге за шесть месяцев увеличилось с 3 до 7 (для сравнения в 2020 году в рейтинге было 2 отечественные системы, в 2017 году - 5, а в 2012 году - 12).
Что касается общего рейтинга, то на первом месте остаётся японский кластер Fugaku, построенный с использованием процессоров ARM. Кластер Fugaku размещён в Институте физико-химических исследований RIKEN и обеспечивает производительность 442 петафлопс. Кластер включает 158976 узлов на базе SoC Fujitsu A64FX, оснащённых 48-ядерным CPU Armv8.2-A SVE (512 bit SIMD) с тактовой частотой 2.2GHz. В сумме кластер насчитывает более 7.6 млн процессорных ядер (в три раза больше, чем у прошлого лидера), 5 ПБ ОЗУ и 150 ПБ общего хранилища на базе ФС Lustre. В качестве операционной системы используется Red Hat Enterprise Linux. Суммарная длина оптических кабелей, задействованных для соединения узлов, составляет около 850 километров.
На втором месте кластер Summit, который развёрнут компанией IBM в Национальной лаборатории Оук-Ридж (США). Кластер работает под управлением Red Hat Enterprise Linux, включает 2.4 млн процессорных ядер (используются 22-ядерные CPU IBM Power9 22C 3.07GHz и ускорители NVIDIA Tesla V100), которые обеспечивают производительность 148 петафлопс, что почти в три раза меньше показателей лидера рейтинга.
Третье место занимает американский кластер Sierra, установленный в Ливерморской национальной лаборатории компанией IBM на базе аналогичной с Summit платформы и демонстрирующий производительность на уровне 94 петафлопс (около 1.5 млн ядер). В качестве операционной системы используется Red Hat Enterprise Linux.
На четвёртом месте китайский кластер Sunway TaihuLight, работающий в национальном суперкомпьютерном центре Китая, включающий более 10 млн вычислительных ядер и показывающий производительность 93 петафлопс. Несмотря на близкие показатели производительности кластер Sierra потребляет в два раза меньше энергии, чем Sunway TaihuLight. В качестве операционной системы используется собственный Linux-дистрибутив RaiseOS.
На пятом месте кластер Perlmutter, произведённый компанией HPE и размещённый в Национальном научно-исследовательском центре энергетики в США. Кластер включает 761 тысячу ядер на базе CPU AMD EPYC 7763 64C 2.45GHz и обеспечивает производительность 71 петафлопс. В качестве операционной системы используется Cray OS.
Наиболее интересные тенденции:

Распределение по количеству суперкомпьютеров в разных странах:
- Китай: 173 ( 188 - полгода назад). В сумме китайские кластеры генерируют 17.5% от всей производительности (полгода назад - 19.4%);
- США: 149 (122). Суммарная производительность оценивается в 32.5% (полгода назад - 30.7%);
- Япония: 32 (34);
- Германия: 26 (23);
- Франция: 19 (16);
- Нидерланды: 11 (16);
- Великобритания: 11 (11);
- Канада 11 (11);
- Россия 7 (3);
- Южная Корея 7 (5)
- Италия: 6 (6);
- Саудовская Аравия 6 (6);
- Бразилия 5 (6);
- Швеция 4 (3);
- Польша 4 (4);
- Австралия, Индия, Швейцария, Финляндия: 3.
В рейтинге операционных систем, используемых в суперкомпьютерах, уже четыре с половиной года остаётся только Linux;
Распределение по дистрибутивам Linux (в скобках - два года назад):
- 51.6% (49.6%) не детализируют дистрибутив,
- 18% (26.4%) используют CentOS,
- 7.6% (4.8%) - RHEL,
- 7% (6.8%) - Cray Linux,
- 5.4% (2%) - Ubuntu;
- 4% (3%) - SUSE,
- 0.2% (0.4%) - Scientific Linux
Минимальный порог производительности для вхождения в Top500 за 6 месяцев вырос с 1511 до 1649 терафлопсов (три года назад лишь 272 кластера показывали производительность более петафлопса, четыре года назад - 138, пять лет назад - 94). Для Top100 порог вхождения вырос с 4124 до 4788 терафлопсов;
Суммарная производительность всех систем в рейтинге за год возросла с 2.8 до 3 экзафлопсов (два года назад было 1.650 экзафлопсов, а пять лет назад - 566 петафлопсов). Система, замыкающая нынешний рейтинг, в прошлом выпуске находилась на 433 месте, а в позапрошлом на 401;
Общее распределение по количеству суперкомпьютеров в разных частях света выглядит следующим образом: 226 суперкомпьютер находится в Азии (245 - полгода назад), 160 в Северной Америке (133) и 105 в Европе (113), 5 в Южной Америке (6), 3 в Океании (2) и 1 в Африке (1);
В качестве процессорной основы лидируют CPU Intel - 81.6% (два года назад было 94%), на втором месте AMD 14.6% (0.6% !!), на третьем IBM Power - 1.4% (было 2.8%). Отмечается активный прирост кластеров на базе процессоров AMD, например, все новые системы, вошедшие в Top15, оснащены CPU AMD.
26.6% (два года назад 35.6%) всех используемых процессоров имеют 20 ядер, 17.6% - 24 ядра, 11.2% - 64 ядра, 8.6% (13.8%) - 16 ядер, 8.2% (11%) - 18 ядер, 5.8% (11.2%) - 12 ядер.
149 из 500 систем (два года назад - 144) дополнительно используют ускорители или сопроцессоры, при этом в 143 системах задействованы чипы NVIDIA, в 2 - Intel Xeon Phi (было 5), 1 - PEZY (1), а в 1 GPU AMD Vega;
Среди производителей кластеров на первом месте закрепилась компания Lenovo - 36.8% (два года назад 34.8%), на втором месте компания Inspur - 11.6% (13.2%), третье место занимает Hewlett-Packard Enterprise - 9% (7%), далее следуют Sugon 7.8% (14.2%), Atos - 7.2% (4.6%), Cray 6.4% (7%), Dell EMC 3.2% (2.2%), Fujitsu 3% (2.6%), NVIDIA 2.4 (1.2%), NEC 2%, Huawei 1.4% (2%), IBM 1.4% (2.6%), Penguin Computing - 1.4% (2.2%). Семь лет назад распределение среди производителей выглядело следующим образом: Hewlett-Packard 36%, IBM 35%, Cray 10.2% и SGI 3.8%;
Для связи узлов в 49.4% (два года назад 52%) кластеров используется Ethernet, InfiniBand применяется на 33.6% (28%) кластеров, Omnipath - 8.4% (10%). Если рассматривать суммарную производительность, то системы на базе InfiniBand охватывают 43.3% всей производительности Top500, а Ethernet - 21.3%.

В ближайшее время ожидается публикация нового выпуска альтернативного рейтинга кластерных систем Graph 500, ориентированного на оценку производительности суперкомпьютерных платформ, связанных с симулированием физических процессов и задач по обработке больших массивов данных, свойственных для таких систем. Рейтинги Green500, HPCG (High-Performance Conjugate Gradient) и HPL-AI объединены с Top500 и отражаются в основном рейтинге Top500.