До конца 2030 года в России могут появиться 10 новых суперкомпьютеров мощностью 10 000-15 000 GPU H100, пишут «Ведомости» со ссылкой на рабочий документ АНО «Цифровая экономика».
Сбербанк сообщил о создании мощнейшего суперкомпьютера в России
| О конференции | Поэтому один из самых крупных суперкомпьютеров в России – в Гидрометцентре. |
| Суперкомпьютер – последние новости | К своим атомным бомбам, лазерам и плазме ядерный центр в Сарове добавил суперкомпьютер, работающий на новых физических принципах. |
Сбербанк сообщил о создании мощнейшего суперкомпьютера в России
За это время мы внедрили все найденные оптимизации на новых кластерах и отдали их пользователям — разработчикам и инженерам внутри компании. Кластер «Ляпунов» решили пока не выводить на обслуживание, потому что он в два раза меньше и у нас не было уверенности, что в нём проявится баг с адаптивным роутингом. Обслуживание означало задержку в расчётах критически важных ML-обучений. Поэтому тоже решили отложить до осени. Первый замер 8 октября мы провели первый замер всех трёх кластеров. ML-инженеры согласились отдать кластеры всего на несколько часов: за это время нужно было сделать несколько прогонов, чтобы подобрать оптимальные параметры. Стало очевидно, что проблема с адаптивным роутингом влияет на него больше, чем мы полагали. Мы решили выводить кластер на обслуживание как можно раньше.
Второй замер 19 октября «Ляпунов» был успешно обновлён. Теперь самое интересное. Это очень круто. В процессе второго замера обратили внимание, что график сети продолжает быть нестабильным. Как выяснилось, проблема в эффекте резонанса мониторинговых сервисов. Третий замер Буквально на прошлой неделе мы закончили монтаж новых стоек — число узлов в кластере «Галушкин» должно увеличиться со 104 до 195. Очень хотелось успеть обновить результат до закрытия окна подачи в Top500, то есть до 7 ноября.
Но к этому моменту мы успели подключить и проверить только 136 узлов. Зато у нас уже было гораздо больше опыта, и мы починили проблему с излишним влиянием мониторингов. Поэтому результат получился очень хороший: 16,02 петафлопса. В сумме по трём кластерам вышло 50,3 петафлопса. В ближайшее время нужно проверить оставшиеся узлы. Нам ещё есть над чем работать, но это уже другая история. Чему мы научились Мы строили свои кластеры для решения реальных задач машинного обучения, руководствуясь имеющимся опытом в серверах, сетях, средах окружения и так далее.
Linpack мы рассматривали как незначительную вспомогательную задачу. В результате мы поняли, что строить и валидировать такие системы — совершенно новый и полезный опыт для нас. Также оказалось, что linpack — отличный инструмент интеграционного тестирования. Он позволил найти и починить сразу несколько багов в продакшене, которые мы раньше просто не замечали. Возникает вопрос: почему именно linpack оказался настолько хорошим инструментом? Чтобы ответить, нужно посмотреть на график обмена данными за 1 секунду. Видно, что за секунду он успевает сделать 4,5 синхронных итерации — это в 2-4 раза чаще, чем наши реальные обучения.
Именно поэтому linpack гораздо чувствительнее к различным задержкам на узлах. Итоги Построение и эксплуатация суперкомпьютеров — интересная, но сложная задача. Экспертизы очень сильно не хватает: абсолютное большинство компаний не собирают свои суперкомпьютеры. В то же время учиться на собственных ошибках — дорогое удовольствие: простой кластера стоит десятки тысяч долларов в сутки. Поэтому для нас обмен опытом —критически важная вещь. В Шуе начнут выпускать улучшенные ноутбуки «Аквариус» с 5-ГГц процессорами Российская компания «Аквариус» планирует наладить выпуск улучшенных ноутбуков на своём производственном комплексе в Шуе, пишет «РИА Новости» со ссылкой на информацию предприятия. Ноутбук оснащён 16-дюймовым экраном с разрешением 2560 х 1600 пикселей и базируется на энергоэффективном процессоре с частотой до 5 ГГц, название которого не уточняется.
Спецификации устройства включают адаптеры беспроводной связи Wi-Fi 6 и Bluetooth 5. Также опционально будет предложена установка LTE-модема. Ёмкости аккумулятора достаточно для до 13 часов автономной работы. Устройство, как сообщается, можно использовать для выполнения различных задач, в том числе для бизнеса, учёбы, работы с графическими и видеоматериалами. Также было отмечено, что новый ноутбук внесён в Единый реестр отечественной радиоэлектронной продукции Минпромторга. Для чего России суперкомпьютеры и как они создаются Что такое суперкомпьютер? Это устройство, чья производительность в сотни или даже тысячи раз превосходит возможности обычных компьютеров, которые сейчас есть практически в каждом доме.
Суперкомпьютеры — универсальный инструмент, необходимый практически во всех сферах промышленности. Одна из наиболее актуальных областей, где необходима исключительная вычислительная мощь, — искусственный интеллект ИИ и машинное обучение, однако суперкомпьютер способен поднять на новый уровень любую сферу, где активно применяется цифровизация. FLoatingpoint OPerations per Second — количеством операций над числами с плавающей точкой в секунду.
Таким образом, тройка лидеров иллюстрирует всё многообразие технологических подходов к созданию систем эксамасштабного уровня, то есть с производительностью более 1018 Flops. В рейтинге Top500 сохраняется тенденция жёсткого расслоения систем. Производительность первой системы в 500 раз больше производительности последней. И этот разрыв растёт из года в год. Кризис, с которым столкнулась суперкомпьютерная отрасль мира в 2016—2017 годах, сейчас преодолён: сегодня можно сказать, что производительность высших систем будет вырастать в 1000 раз за 17—18 лет против 23—24 лет в проблемные годы. Прогноз для младших систем в списке Top500 не столь радужен: рост их производительности в 1000 раз будет происходить за 27—28 лет. То есть, как и прежде, «сильные становятся сильнее, а слабые — слабее».
Россия за 2023 год увеличила отставание в уровне своей вычислительной мощности по отношению к ведущим странам США, Евросоюз, Китай и Япония ровно на год. Сегодня разрыв по этому показателю от США составляет 11,5 лет. Если это расшифровать, то такую вычислительную мощность, как сейчас в России, США имели 11,5 лет назад. Технологическое отставание то есть готовность создавать и владеть системами уровня Top1, Top5, Top10 также усилилось — от технологий Top1 мы отстаём на 11 лет.
Конференция пройдет в смешанном формате, предполагающем как очное участие, так и онлайн-трансляции и возможности заочного участия. Множество возможностей и событий на одной площадке Ежегодно на одной площадке конференции проходит множество суперкомпьютерных событий.
В 2023 году на конференции участникам были доступны мероприятия в очном и онлайн-формате — 3 пленарные секции, 11 научных секций, 10 семинаров, конференция молодых ученых, стендовая секция, выставка. В конференции приняли участие 393 очных и 35 заочных участников из 92 организаций, включая 27 университетов и 34 институтов РАН.
Свод предложений, составленных по итогам конференции, АНО должно направить в правительство. В документе АНО не уточняется, идет речь о совокупной мощности машин 10 000—15 000 GPU H100 или же о планируемой мощности каждого устройства. H100 — это чипы Nvidia последнего поколения, выпущенные в 2022 г. Каждый процессор содержит 80 млрд транзисторов, что обеспечивает производительность в 56—66 терафлопсов. В сентябре 2022 г. Как следует из презентации АНО «Цифровая экономика», с предложением о создании суперкомпьютеров выступила подгруппа «Доверенная инфраструктура», возглавляемая вице-президентом «Ростелекома» Борисом Глазковым.
Представители телекомоператора и Минцифры отказались от комментариев. Представитель «Цифровой экономики» сообщил, что АНО находится в тесном контакте с бизнес-сообществом, собирает мнения и предложения по теме экономики данных.
Яндекс создал три мощнейших в России суперкомпьютера
Одним из предназначений суперкомпьютера российского Министерства обороны является моделирование и прогнозирование развития военных конфликтов. В ноябрьском рейтинге суперкомпьютеров лучший из российских занимает 79 место. Марий Эл Телерадио» Телеканал МЭТР» Лента новостей» Суперкомпьютер МарГУ вошёл в ТОП-20 России. О возможностях мощнейшего в России суперкомпьютера рассказали президент, председатель правления Сбербанка Герман Греф и СТО Сбербанк Груп, исполнительный вице-президент, руководитель блока «Технологии» Сбербанка Давид Рафаловский.
В России разработан первый в мире суперкомпьютер для цифрового «клонирования» людей и городов.
По его словам, вычислительная мощность способна справляться со сложным задачами в короткие сроки. Устройство назвали в честь первого клиента Сберкассы Николая Кристофари. С 12 декабря его смогут арендовать сторонние компании, стоимость минуты использования составит 5750 рублей. Суперкомпьютер разработали SberCloud и компания Nvidia. Производительность устройства достигает 6,7 петафлопс.
Напомним, что в 2012 году технологическое отставание от Top1 было всего 2,5 года. В мировом пироге производительности года наша страна сильно упрочила свою позицию в 2021 году, когда компании Яндекс, Сбер и МТС купили шесть достаточно мощных суперкомпьютерных установок для своих корпоративных нужд. Формально индекс цифровизации России упал за прошедшие два года: сегодня он у нас в 4,6 раз хуже, чем у США, в 2,7 раз хуже, чем у Евросоюза, в пять раз хуже, чем у Японии, и 2,2 раза — по сравнению с миром. В целом суперкомпьютерная отрасль в мире стремительно развивается.
В передовых странах нащупаны основные направления решений технологических трудностей предыдущего десятилетия — и для аппаратных, и для программных средств суперкомпьютеров эксафлопсного масштаба. На сегодняшний день успех трёх систем в США Frontier, Aurora, Eagle и одной — в Японии Fugaku достигнут за счёт мощной государственной и межгосударственной поддержки, наличия нескольких альтернативных конкурентных подходов, консолидации передовых технологических решений по разным направлениям. В России нет новых суперкомпьютерных разработок переднего края в последние десять лет. Создание отечественных супер-ЭВМ закончилось в 2014 году и лучшие из них относятся к петафлопсному классу. Но у России тем не менее есть возможность и ресурсы для преодоления кризиса в суперкомпьютерной отрасли — это, в том числе, разработки, которые всё еще находятся на переднем крае технологий, необходимых для создания эксафлопсных систем. Это технологии охлаждения, интерконнекта, процессоров, ускорителей, программного обеспечения, математические методы и модели. Более того, в нашей стране существуют проекты, реализация которых поможет создать системы, «превышающие эксамасштаб».
В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения.
Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта.
Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска. Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер.
Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU. Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей.
Размер обусловлен встроенной системой охлаждения. Они связывают GPU для вычислений. Это продиктовано энергопотреблением — до 20 кВт. Cloud, но об этом поговорим в другой раз. Обратите внимание на отсутствие любых декоративных пластиковых элементов. Зато есть много свободного места, чтобы воздух мог обдувать огромные радиаторы GPU в центре, именно за счёт этого получается экономить электричество на охлаждении. В кластере 199 серверов с GPU — такое количество обусловлено экономической целесообразностью сборки ядра Infiniband по стандартной схеме на 800 портов с использованием 40-портовых 1U HDR-коммутаторов. Двухсотый сервер не имеет GPU в своем составе и используется для управления сетью Infiniband.
Это позволило создавать кластеры в два раза большего размера по сравнению с коробочным решением SuperPod. Например, вот так выглядят типичные итерации обучения. О г—Замеры После успешного решения этих и других проблем мы наконец-то получили заветное линейное масштабирование на 152 хостах, доступных на тот момент. Получилось 15,2 петафлопса. Но была одна проблема: пока мы настраивали кластер, закрылось окно подачи в июньский рейтинг. Мы опоздали буквально на одну неделю. Поэтому решили взять паузу с замерами linpack до осени. За это время мы внедрили все найденные оптимизации на новых кластерах и отдали их пользователям — разработчикам и инженерам внутри компании.
Кластер «Ляпунов» решили пока не выводить на обслуживание, потому что он в два раза меньше и у нас не было уверенности, что в нём проявится баг с адаптивным роутингом. Обслуживание означало задержку в расчётах критически важных ML-обучений. Поэтому тоже решили отложить до осени. Первый замер 8 октября мы провели первый замер всех трёх кластеров. ML-инженеры согласились отдать кластеры всего на несколько часов: за это время нужно было сделать несколько прогонов, чтобы подобрать оптимальные параметры.
Сбербанк представил свой первый суперкомпьютер в 2019 году, тогда же машина вошла в TOP500 и стала одной их самых мощных в России. Компания использует свои машины для развития искусственного интеллекта, а также сдает мощности в аренду. Мощность: Christofari Neo 43 место — 11,95 Пф. Christofari 72 место — 6,66 Пф. МГУ использует Lomonosov-2 для собственных проектов, а также задач третьих лиц.
На нем проводятся исследования в области наносистем и новых материалов, информационно-телекоммуникационных систем, энергетики и др. Мощность: Lomonosov-2 241 место — 2,478 Пф. МТС использует суперкомпьютер для развития собственной цифровой экосистемы и искусственного интеллекта. В компании уверены, что система сможет ускорить создание продуктов в области машинного зрения и промышленной аналитики, обработки естественного языка, интеллектуального видеонаблюдения, а также будет полезна в вузах и научных центрах. Мощность: Grom 294 место — 2,258 Пф. Почему развитие суперкомпьютеров важно?
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
Новость: Сбербанк запустил второй самый мощный в России суперкомпьютер Christofari Neo, функционирующий на базе чипов Nvidia. Минобрнауки рассказало о новом суперкомпьютере Тераграф на новых микропроцессорах Leonhard. Холдинг «Росэлектроника» Госкорпорации Ростех ввел в эксплуатацию новый суперкомпьютер «Фишер» для Объединенного института высоких температур Российской академии наук (ОИВТ РАН) с пиковой производительностью 13,5 Тфлопс. В космосе может появиться российский суперкомпьютер. Новый суперкомпьютер представили в Московском государственном университете имени М.В. Ломоносова в начале учебного года.
Квантовые технологии в России 2023
«Сбер» представил новый суперкомпьютер для ускорения задач в области искусственного интеллекта. Суперкомпьютер в МГУ имени М.В. Ломоносова стал важным звеном в системе ведущих суперкомпьютерных центров России. В России разработали первый в мире суперкомпьютер с «интуитивным» процессором на базе отечественной архитектуры «Леонард Эйлер» — он называется «Тераграф». Ну, чтобы создать самый мощный суперкомпьютер в России, нужно было всего лишь подольше не увозить новый айфон. В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира. Составители авторитетного рейтинга суперкомпьютеров включили нашу страну в топ, причем Россия попала сразу на 19 место списка.