В России разработали первый в мире суперкомпьютер с «интуитивным» процессором на базе отечественной архитектуры «Леонард Эйлер» — он называется «Тераграф». Фотонный суперкомпьютер, создаваемый учеными Научно-исследовательского центра супер ЭВМ и нейрокомпьютеров в Таганроге в рамках научной программы НЦФМ, будет работать на частоте в 1 ТГц, или триллион герц. Президент России Владимир Путин заявил, что в стране необходимо многократно увеличить мощности суперкомпьютеров. Холдинг «Росэлектроника» Госкорпорации Ростех ввел в эксплуатацию новый суперкомпьютер «Фишер» для Объединенного института высоких температур Российской академии наук (ОИВТ РАН) с пиковой производительностью 13,5 Тфлопс. В российском подходе используется иной принцип: все коэффициенты определяются чисто математически.
Один из самых мощных суперкомпьютеров в России работает в СевГУ
Причём в первых реализациях таких гибридных суперкомпьютеров могут потребоваться квантовые сопроцессоры на различных физических платформах для различных алгоритмов. Будем прорываться: российские суперкомпьютеры По открытым данным, самый мощный в России суперкомпьютер – «Червоненкис» «Яндекса». Помимо создания компактного мобильного суперкомпьютера специалисты холдинга «Росэлектроника» недавно завершили разработку новой технологии, улучшающей качество связи при передаче цифровой информации по радиоканалам КВ-диапазона. Новости На суперкомпьютере Tianhe-2 запущена платформа Ubuntu OpenStack (2014). Семь российских суперкомпьютеров не идут ни в какое в количественное сравнение с более чем 160 американскими в рейтинге Top500. Суперкомпьютер MareNostrum, установленный в Barcelona Supercomputing Center, используется для моделирования циркуляции океана.
Сбербанк сообщил о создании мощнейшего суперкомпьютера в России
В России представили суперкомпьютер «Тераграф», построенный на уникальном отечественном микропроцессоре. До конца 2030 года в России могут появиться 10 новых суперкомпьютеров мощностью 10 000-15 000 GPU H100, пишут «Ведомости» со ссылкой на рабочий документ АНО «Цифровая экономика». Поэтому один из самых крупных суперкомпьютеров в России – в Гидрометцентре.
Самый мощный суперкомпьютер в России
В Росгидромете запустят повышающий качество прогнозов суперкомпьютер К концу 2018 года в России будет запущен новый суперкомпьютер, который займется прогнозированием опасных погодных явлений, рассказали в Росгидрометцентре. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России. Представлена 38 редакция ТОП-50 суперкомпьютеров Российской Федерации.
В МГУ открыли новый суперкомпьютер, решающий задачи ИИ
Регистрация Тематика Cуперкомпьютерные технологии во всем многообразии: параллельные и распределенные вычисления, высокопроизводительные программные и аппаратные решения, масштабируемые алгоритмы, большие данные, машинное обучение, суперкомпьютерное образование и многое другое. Важные даты Рабочие дни конференции и выставки 23 - 24 сентября 2024 г. Для авторов докладов 26 февраля 2024 г. Конференция пройдет в смешанном формате, предполагающем как очное участие, так и онлайн-трансляции и возможности заочного участия.
Можно реконструировать всевозможные тектонические явления». Это, прежде всего, нефтегазовая область, в частности решение обратных задач сейсмологии — фактически, разведка полезных ископаемых здесь как раз уместна аналогия с телескопом, позволяющим заглянуть внутрь Земли. Новые материалы.
Так, в Центре Сколтеха по Электрохимическому Хранению Энергии профессор Артем Оганов с помощью математического моделирования исследует свойства веществ при сверхвысоких давлениях. Эксперимент при таких давлениях очень дорог и небезопасен; нужно иметь уверенность в том, что из этого эксперимента что-то получится. Своей работой профессор Оганов фактически торит тропу для экспериментаторов. В этом же центре [Электрохимического Хранения Энергия] группа под руководством Андрея Жугаевича ведет активные исследования по применению суперкомпьютерных технологий для конструирования новых материалов и устройств для преобразования и хранения энергии. Биоактивные вещества в силу своей природы обладают токсичностью. Поиски нового лекарственного препарата могут быть небезопасны.
Поэтому очень важно предсказывать токсичность нового соединения еще до того, как оно будет синтезировано. Это исследования, которые ведутся непосредственно в научной группе профессора Максима Федорова. Это только несколько примеров того, как работает принцип: когда эксперимент невозможен, опасен, труден, дорог, - тогда вступает в силу моделирование», - замечает собеседник Sk. Метод top down По словам профессора, проекты его Центра можно разделить на два основных класса. Это, во-первых, математическое моделирование на основе «первых принципов» известных законов и формул , или bottom up. Например, можно использовать численное решение уравнения Шрёдингера, чтобы понять, какие свойства будут у вновь синтезированной молекулы, поскольку квантовая химия основывается на уравнениях квантовой механики.
Так работает классическое математическое моделирование, или bottom up, рассказывает Максим Федоров. Я часто привожу пример: мы можем ничего не знать о физиологии человека и даже не знать самого слова «физиология», но, эмпирически наблюдая за его поведением, мы можем узнать, что он спит около 8 часов в сутки, ему требуется определенное количество еды и т. Большое количество эмпирических данных позволяет как в прошлом, так и в настоящем, многим людям без специального медицинского образования существовать и развиваться, не зная толком своей физиологии и анатомии. То есть возможно существовать только на эмпирическом знании. Соответственно есть подход «черного ящика» - top down, когда на основе эмпирических данных с помощью методов статистического анализа и машинного обучения мы строим какие-то зависимости, позволяющие нам изучить явление. Эмпирический подход не требует понимания сути явления, но позволяет его эффективно использовать.
Сейчас мы подходим к современному состоянию, когда у нас идет синтез математического моделирования, суперкомпьютерных технологий и методов анализа больших массивов данных. Это происходит потому что в современном мире технологии и сложность задач уже достигли такого масштаба, что использовать явление, не понимая его сути, опасно. Идея в том, что вначале мы получаем какие-то эмпирические зависимости с помощью методов машинного обучения, а затем с помощью математического моделирования пытаемся понять суть явления. И наоборот: те вещи, которые удалось описать математическим моделированием, можно попытаться гибридизировать с методами анализа больших массивов данных для того чтобы улучшить качество моделирования. В науке для описания такого гибридного подхода используется термин «суррогатное моделирование». Суррогатное моделирование используется, например, для предсказательного технического обслуживания сложных систем.
Если речь идет об описании очень сложного технического устройства, в котором происходят нелинейные процессы, как, например, в турбине, - время, которое на это потребуется на суперкомпьютере, будет измеряться днями, а то и месяцами. И если нужно турбину очень быстро обсчитывать, чтобы понимать, работает ли она в нормальном режиме или близка к критическому, тогда нужна какая-то более быстрая модель — сплав упрощенного математического моделирования и методов анализа большого массива данных с помощью машинного обучения. Это и есть математическая основа современных технологий предсказательного технического обслуживание сложных систем. Разглядеть признаки аварийных ситуаций В Сколтехе собралась самая мощная команда в стране по этой проблематике: Александр Бернштейн, Евгений Бурнаев, Дмитрий Яроцкий, Дмитрий Лаконцев и их коллеги. Это позволяет разглядеть за нормальным режимом работы системы признаки аварийных ситуаций, чем мы, собственно, и занимаемся. Как говорит наш ректор, академик Александр Кулешов, «когда у вас много параметров, нужно следить не только за отклонениями каждого параметра, но и за корреляциями между ними».
Наши алгоритмы позволяют такой анализ многомерных корреляций проводить. Это как инкубационный период в человеческом организме. Человек нормально себя чувствует, но в его организме уже происходят какие-то изменения, которые потом вызовут болезнь. Разумеется, болезнь началась не в тот момент, когда у человека подскочила температура.
Ложка дегтя в эту бочку меда В ноябре 2022 года компания Nvidia заявила о том, что уходит из России и не будет более поддерживать корпоративный клиентский сектор.
Еще в сентябре 2022 года правительство США запретило компаниям Nvidia и AMD поставлять российским корпорациям ряд высокотехнологичных продуктов. Как видим, все наши суперкомпьютеры основаны на решениях от «зеленых» и уже к концу 2022 года становится заметным, что имеющиеся в мире суперкомпьютеры не стоят на месте и развиваются бешеными темпами. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода с июля по ноябрь опустился в мировом рейтинге на 3 пункта еще в июле 2022 года он занимал 22 место. Технологии не стоят на месте, а количесто информации для обработки постоянно прибавляется. Смогут ли топовые российские суперкомпьютеры, основанные на уже закрытых технологиях, в этой ситуации удерживаться в мировом топе?
Особо остро стоит вопрос появления новых супермашин: как я понял из прочитанного в различных источниках, суперкомпьютер это не наше с вами «ведро», куда при желании можно вставить нужное количество оперативной памяти или новую видеокарту. Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый. Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников!
Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе. Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов.
Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста. В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода.
Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет.
Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения.
Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы.
Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only.
Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска.
К сожалению, конкретные значения производительности суперкомпьютера МГУ-270 не раскрываются, но предполагается, что это может быть самая мощная вычислительная машина в стране. Новый суперкомпьютер МГУ-270 будет использоваться для создания инновационных инструментов на основе искусственного интеллекта, включая алгоритмы для анализа больших объемов данных и разработки методов защиты ИИ-сервисов. Кроме того, система будет поддерживать исследования в различных областях науки, таких как физика, химия, биология, психология, социология, геология и медицина.
Квантовые технологии в России 2023
Если это расшифровать, то такую вычислительную мощность, как сейчас в России, США имели 11,5 лет назад. Технологическое отставание то есть готовность создавать и владеть системами уровня Top1, Top5, Top10 также усилилось — от технологий Top1 мы отстаём на 11 лет. Напомним, что в 2012 году технологическое отставание от Top1 было всего 2,5 года. В мировом пироге производительности года наша страна сильно упрочила свою позицию в 2021 году, когда компании Яндекс, Сбер и МТС купили шесть достаточно мощных суперкомпьютерных установок для своих корпоративных нужд.
Формально индекс цифровизации России упал за прошедшие два года: сегодня он у нас в 4,6 раз хуже, чем у США, в 2,7 раз хуже, чем у Евросоюза, в пять раз хуже, чем у Японии, и 2,2 раза — по сравнению с миром. В целом суперкомпьютерная отрасль в мире стремительно развивается. В передовых странах нащупаны основные направления решений технологических трудностей предыдущего десятилетия — и для аппаратных, и для программных средств суперкомпьютеров эксафлопсного масштаба.
На сегодняшний день успех трёх систем в США Frontier, Aurora, Eagle и одной — в Японии Fugaku достигнут за счёт мощной государственной и межгосударственной поддержки, наличия нескольких альтернативных конкурентных подходов, консолидации передовых технологических решений по разным направлениям. В России нет новых суперкомпьютерных разработок переднего края в последние десять лет. Создание отечественных супер-ЭВМ закончилось в 2014 году и лучшие из них относятся к петафлопсному классу.
Но у России тем не менее есть возможность и ресурсы для преодоления кризиса в суперкомпьютерной отрасли — это, в том числе, разработки, которые всё еще находятся на переднем крае технологий, необходимых для создания эксафлопсных систем.
Если это расшифровать, то такую вычислительную мощность, как сейчас в России, США имели 11,5 лет назад. Технологическое отставание то есть готовность создавать и владеть системами уровня Top1, Top5, Top10 также усилилось — от технологий Top1 мы отстаём на 11 лет. Напомним, что в 2012 году технологическое отставание от Top1 было всего 2,5 года. В мировом пироге производительности года наша страна сильно упрочила свою позицию в 2021 году, когда компании Яндекс, Сбер и МТС купили шесть достаточно мощных суперкомпьютерных установок для своих корпоративных нужд. Формально индекс цифровизации России упал за прошедшие два года: сегодня он у нас в 4,6 раз хуже, чем у США, в 2,7 раз хуже, чем у Евросоюза, в пять раз хуже, чем у Японии, и 2,2 раза — по сравнению с миром. В целом суперкомпьютерная отрасль в мире стремительно развивается. В передовых странах нащупаны основные направления решений технологических трудностей предыдущего десятилетия — и для аппаратных, и для программных средств суперкомпьютеров эксафлопсного масштаба. На сегодняшний день успех трёх систем в США Frontier, Aurora, Eagle и одной — в Японии Fugaku достигнут за счёт мощной государственной и межгосударственной поддержки, наличия нескольких альтернативных конкурентных подходов, консолидации передовых технологических решений по разным направлениям. В России нет новых суперкомпьютерных разработок переднего края в последние десять лет.
Создание отечественных супер-ЭВМ закончилось в 2014 году и лучшие из них относятся к петафлопсному классу. Но у России тем не менее есть возможность и ресурсы для преодоления кризиса в суперкомпьютерной отрасли — это, в том числе, разработки, которые всё еще находятся на переднем крае технологий, необходимых для создания эксафлопсных систем.
Сейчас семь российских суперкомпьютеров входят в мировой рейтинг Топ500. У США в нем 150 машин, у Китая — 134. Следом идут Германия с 36 суперкомпьютерами и Япония с 33. На июнь 2023 г. Все эти компьютеры работают на графических ускорителях от Nvidia прошлых поколений — Tesla K, P-серия, A100. Впрочем, есть и менее мощные машины, например у «Тинькофф банка», «Росатома» или Курчатовского института.
Самый мощный суперкомпьютер «Яндекса» — «Червоненкис» имеет 1592 узла с Nvidia A100 и занимает 27-е место в мире по вычислительной мощности, указано на сайте компании. Его мощность — 21,53 петафлопса.
В то же время в суперкомпьютере ОИЯИ используются графические ускорители и процессоры двух видов. В этом аспекте новый суперкомпьютер выступает прямым наследником гетерогенного кластера для параллельных вычислений HybriLIT, который является частью Многофункционального информационно-вычислительного комплекса ОИЯИ с февраля 2015 года. Суперкомпьютер будет использоваться в первую очередь физиками-теоретиками, которые работают в ОИЯИ.
Сейчас они вынуждены при необходимости пользоваться вычислительными мощностями суперкомпьютеров удаленно. Суперкомпьютер будет задействован сотрудниками ОИЯИ для решения задач квантовой хромодинамики на решетке. На нем будут моделироваться эксперименты и процессы, происходящие на коллайдере протонов и тяжелых ионов NICA для воссоздания в лабораторных условиях особого состояния вещества, в котором, как считают ученые, пребывала наша Вселенная в первые мгновения после Большого взрыва. Создание коллайдера началось в лаборатории физики высоких энергий ОИЯИ в 2013 году. Собственно, NICA и стал одной из причин того, что руководство института приняло решение приобрести суперкомпьютер.
Строительство коллайдера планируется закончить в 2020 году. Суперкомпьютером также смогут воспользоваться ученые из других институтов, с которыми ОИЯИ сотрудничает. Заявленный 1 Пфлопс — довольно значительная мощность для суперкомпьютера.
Ростех создал модульный суперкомпьютер «Фишер» для Российской академии наук
«Проскочило в новостях, что его мощность 400 петафлопс, и это был бы действительно второй-третий суперкомпьютер в мире по производительности, но это не так. Сбербанк совместно с компанией Nvidia разработал самый мощный в России суперкомпьютер Christofari. В России создают суперкомпьютер, работающий на частоте 1 трлн герц.
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
С учетом тенденции к использованию исключительно национальных вычислительных мощностей спрос будет, скорее всего, ограничен самой Россией и странами, которые не могут позволить себе такие дата-центры. Как может выглядеть новый виток военного противостояния над Землей Некоторые эксперты критически оценили данный проект, но отметили в нем несколько потенциально интересных моментов. В среднем спутники работают на орбите от пяти лет, но есть примеры, когда срок эксплуатации достигает 9—10 лет, рассказал генеральный директор АО «АК «Новый космос» компания — участник рынка НТИ «Аэронет» Антон Алексеев. Но также важно учесть, что в связи с указанным сроком потребуются постоянная замена спутников и их обновление. По мнению Александра Бирюкова, проект имеет стратегическую ценность в апробации отправки и поддержания дата-центров в космосе. Фото: Роскосмос — Особенно важным такой подход станет при массовом внедрении квантовых компьютеров, которые требуют особенно низких температур и стабильной окружающей среды для функционирования — космическое пространство является идеальным для этих целей, — пояснил специалист. В настоящее время авторы работы проводят технико-экономическое обоснование и бизнес-планирование проекта.
Тактовая частота решения составляет около 200 МГц. Благодаря параллелизму при обработке сложных моделей данных процессор способен обрабатывать до 120 млн вершин графов в секунду. Что касается системы «Тераграф», то она может работать с графами сверхбольшой размерности — до одного триллиона вершин. Такие графы могут использоваться при анализе больших данных в биоинформатике, медицине, системах безопасности городов, компьютерных сетях, финансовом секторе, при контроле сложного промышленного производства, для анализа информации социальных сетей и во многих других областях.
Производительность машины К-100, созданной Институтом прикладной математики им. Келдыша РАН - 100 терафлопс. Отличие и в использовании. На обычном компьютере мы работаем с документами, с Интернетом, с электронной почтой. Ученый, конечно, решит и серьезную задачу, если сумеет составить простую, малозатратную по вычислениям модель. Но для сложных научных, промышленных, экологических задач ресурс PC мал - надо считать на суперкомпьютере. Счет суперкомпьютера ускоряет «распараллеливание» вычислений, и это также отличие: в нем задачи решаются вообще иначе. Счет по задаче - параллельно по разным ее частям - одновременно ведут множество процессоров, аналогичных нашим персональным компьютерам. Однако от этого, во-первых, сразу взлетает стоимость суперкомпьютера: для производительности 1 петафлопс - это несколько миллиардов рублей. И, во-вторых, зашкаливает энергопотребление: для петафлопного комплекса - это 5-7 мегаватт, а при приближении на тех же принципах к производительности 10 петафлопс потребуется рядом ставить электростанцию. Это настолько серьезные затруднения, что сейчас весь мир ищет пути их преодоления. В частности, «распараллеливание» вычислений пытаются обеспечить за счет многоядерности процессора. Уже на следующий год Intel обещает ввести 16-ядерный процессор, разрабатывают и 48-ядерные процессоры. А графические платы, которые ранее использовались как игровые приставки, сейчас имеют уже несколько сотен. Сейчас возникла идея гибридных или гетерогенных компьютеров: не только у нас, но и в Европе, в Китае. В них в одном узле объединены процессоры обычные, общего назначения и графические платы. Однако, оказалось: «сделать математику» для многоядерных процессоров очень сложно - ядра, поскольку их много, «мешают» друг другу. И математикам надо очень крепко подумать, чтобы параллельные вычисления суперкомпьютеров с десятками тысяч компьютерных ядер и выше одинаково эффективно загружали узлы и процессоры системы. И, к тому же, чтобы при этом выигрыш в счете не терялся в соединительной сети, то есть при перебрасывании процессорами информации другу другу также - проблема современных суперкомпьютеров. Вот так, в Институте прикладной математики РАН, находя свои варианты решений, алгоритмы, то есть создавая «другую математику» - предложили новый тип суперкомпьютера. Не рискованно ли было обращаться с заявкой к премьер-министру? А вдруг с суперкомпьютером не получилось бы? В течение нескольких лет на скудные средства Программ РАН и Фонда фундаментальных исследований был создан небольшой прототип гибридного компьютера, разработаны базовые алгоритмы и в результате наши ученые поняли: можно браться за суперкомпьютер 100 терафлопс! Вот почему на деньги, выделенные правительством, систему установить удалось, да еще и в короткий срок.
Суперкомпьютер, оснащенный около 100 современных графических ускорителей и современными системами охлаждения, предназначен для решения самых сложных задач в области искусственного интеллекта ИИ и высокопроизводительных вычислений HPC , а также для обучения больших моделей ИИ. Суперкомпьютер МГУ-270, построенный в соответствии с долгосрочными планами развития МГУ, открывает новые возможности перед российским научным сообществом. Хотя пиковая вычислительная мощность суперкомпьютера составляет впечатляющие 400 "искусственных" петафлопсов, следует отметить, что это значение относится к формату данных FP16, известному как "AI" PetaFLOPS.
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
В России представили суперкомпьютер «Тераграф», построенный на уникальном отечественном микропроцессоре. Российский президент Владимир Путин сообщил, что необходимо не менее чем на порядок нарастить мощности суперкомпьютеров России. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России. В России разработали первый в мире компьютер на базе отечественной архитектуры «Леонард Эйлер» с «интуитивным» процессором — «Тераграф».