Российские ученые из саровского ядерного центра разработали и запатентовали сверхэкономичный фотонный суперкомпьютер (ФВМ). В космосе может появиться российский суперкомпьютер. Так, суперкомпьютер «Яндекса» «Червоненкис» занял 19-ю строчку рейтинга суперкомпьютеров топ-500, став самой производительной системой не только в России, но и во всей Восточной Европе. Новость: Сбербанк запустил второй самый мощный в России суперкомпьютер Christofari Neo, функционирующий на базе чипов Nvidia.
Квантовые технологии в России 2023
| Первый суперкомпьютер с «интуицией» создали в России. Как он работает и на что способен | На сегодняшний день в России всего семь суперкомпьютеров из мирового списка топ-500. |
| Что такое суперкомпьютеры и как они изменят нашу жизнь? | hardware hpc iks-consulting анализ рынка ии облако россия суперкомпьютер. Компания iKS-Consulting обнародовала результаты исследования российского рынка облачных инфраструктур. |
| Созданный в МГУ суперкомпьютер вернет России лидерство в этой сфере - Российская газета | Самый мощный суперкомпьютер будет создан в России. |
| Что такое суперкомпьютеры и как они изменят нашу жизнь? | ИНТЕРФАКС – В МГУ имени М.В. Ломоносова ректор Виктор Садовничий открыл новый суперкомпьютер, обладающий специализированной архитектурой, сообщает вуз. |
| Сбербанк сообщил о создании мощнейшего суперкомпьютера в России | Статья Суперкомпьютеры (рынок России), Российские суперкомпьютеры в рейтинге Top500 мира, 2024 Путин поручил нарастить мощность суперкомпьютеров в 10 раз На это нужны миллиарды рублей. |
В России построили петафлопсный суперкомпьютер редкой архитектуры
В Росгидромете запустят повышающий качество прогнозов суперкомпьютер К концу 2018 года в России будет запущен новый суперкомпьютер, который займется прогнозированием опасных погодных явлений, рассказали в Росгидрометцентре. новости. россия. суперкомпьютер.?1700835440. МОСКВА, 24 ноя — ПРАЙМ. В России необходимо не менее, чем на порядок увеличить мощности суперкомпьютеров, заявил президент России Владимир Путин. Фотонный суперкомпьютер, создаваемый учеными Научно-исследовательского центра супер ЭВМ и нейрокомпьютеров в Таганроге в рамках научной программы НЦФМ, будет работать на частоте в 1 ТГц, или триллион герц. Причём в первых реализациях таких гибридных суперкомпьютеров могут потребоваться квантовые сопроцессоры на различных физических платформах для различных алгоритмов. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода (с июля по ноябрь) опустился в мировом рейтинге на 3 пункта (еще в июле 2022 года он занимал 22 место).
Яндекс создал три мощнейших в России суперкомпьютера
В списке суперкомпьютеров 2017 года, по данным Википедии , российские занимали три позиции 63, 227 и 412 места. Лидирует в этом списке Китай 202 суперкомпьютера , за ним — США 143 суперкомпьютера. В Европе — 108 суперкомпьютеров. Фото Тимура Сабирова, Сколтех.
Ректор МГУ некоторое время назад заявлял о том, что «МГУ-270» не имеет аналогов среди подобных систем в университетах мира и является вторым или третьим по мощности среди всех действующих суперкомпьютеров. Это 400 петафлопс. Этот супервычислитель, может быть, будет вторым-третьим в мире по мощности Виктор Садовничий не уточнял деталей, но отмечал, что в конфигурацию системы входит около 100 современных графических ускорителей.
Хорошие и дешёвые шасси пойди найди. На самом деле они скорее имеют в виду межузловую шину. Там еще лет десять назад как все это начиналось, лицензировали и стали собирать конкурента миринета не помню название.
Как раз для того что бы можно было строить суперкомпутеры из азиатской россыпи не подпадая под различные ограничения на продажу технологий.
Кроме того, каждый узел оборудован 512 Гбайтами оперативной памяти и накопителем SSD. Значительная часть мощности машины задействована в видеокартах, которые позволят решать сложные задачи в различных областях науки, включая математику, физику и биологию. Исполняющий обязанности директора ИМ СО РАН Андрей Миронов отметил, что новый компьютер способен моделировать объёмные процессы и предсказывать поведение сложных математических систем.
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
Причём в первых реализациях таких гибридных суперкомпьютеров могут потребоваться квантовые сопроцессоры на различных физических платформах для различных алгоритмов. Сбербанк совместно с компанией Nvidia разработал самый мощный в России суперкомпьютер Christofari. Планируется, что мощность компьютера будет увеличена до 234,4 Тфлопс к 2025 году, а конструкция расширится до 34 узлов. Финансирование суперкомпьютера велось на средства федерального гранта. По количеству суперкомпьютеров в Top-500 Россия вышла на 9 место в мире — в РФ столько же систем, сколько в Южной Корее. Другие интересные новости читайте в нашем Telegram-канале. Суперкомпьютер MareNostrum, установленный в Barcelona Supercomputing Center, используется для моделирования циркуляции океана.
Вот это прорыв: Россия попала в мировой топ самых мощных суперкомпьютеров
| «Сбербанк» представил самый мощный в России суперкомпьютер // Новости НТВ | Интересные новости о суперкомпьютерах и ИИ. |
| О конференции | Суперкомпьютерные дни в России | На сайте Минобранауки рассказано о новой разработке российских ученых – первых в мире микропроцессоре и суперкомпьютере, в которых на аппаратном уровне реализован набор команд дискретной математики DISC. |
| В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах | Математика в эпоху суперкомпьютеров. |
Microsoft и OpenAI построят ИИ-суперкомпьютер Stargate за $100 миллиардов
Как собственно и материнские платы. Естественно данную «устоявшуюся» в узких кругах терминологию журналисты транслируют напрямую, а читатели не понимают вообще. Особенно замученные на тему «расея, вперде» долбодятловыми сми.
Проект реализован при участии специалистов группы компаний РСК и корпорации Intel. Проект нацелен на кардинальное ускорение комплексных теоретических и экспериментальных исследований в области физики элементарных частиц, ядерной физики и физики конденсированных сред, в том числе для реализации ускорительного комплекса NICA, создаваемого на базе ОИЯИ для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала наша Вселенная в первые мгновения после Большого Взрыва — кварк-глюонную плазму.
В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей.
Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже.
Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой. Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения.
Достаточно построить график потребления энергии и обмена трафиком в одном масштабе. Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2.
Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3. GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь.
Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально. Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями.
Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only. Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года.
В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт. Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска.
Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер. Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать.
Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500. Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров.
Логично было распространить этот опыт и на GPU. Для размещения кластеров выбрали недавно переданные в эксплуатацию модули в дата-центрах Сасово и Владимира. Сами кластеры назвали соответственно «Червоненкис» в честь Алексея Червоненкиса, одного из крупнейших теоретиков машинного обучения и «Галушкин» Александр Галушкин — один из главных исследователей теории нейронных сетей.
Размер обусловлен встроенной системой охлаждения. Они связывают GPU для вычислений. Это продиктовано энергопотреблением — до 20 кВт.
Cloud, но об этом поговорим в другой раз. Обратите внимание на отсутствие любых декоративных пластиковых элементов. Зато есть много свободного места, чтобы воздух мог обдувать огромные радиаторы GPU в центре, именно за счёт этого получается экономить электричество на охлаждении.
В кластере 199 серверов с GPU — такое количество обусловлено экономической целесообразностью сборки ядра Infiniband по стандартной схеме на 800 портов с использованием 40-портовых 1U HDR-коммутаторов. Двухсотый сервер не имеет GPU в своем составе и используется для управления сетью Infiniband. Это позволило создавать кластеры в два раза большего размера по сравнению с коробочным решением SuperPod.
Например, вот так выглядят типичные итерации обучения. О г—Замеры После успешного решения этих и других проблем мы наконец-то получили заветное линейное масштабирование на 152 хостах, доступных на тот момент. Получилось 15,2 петафлопса.
Но была одна проблема: пока мы настраивали кластер, закрылось окно подачи в июньский рейтинг.
Суперкомпьютер назван в честь директора Лаборатории вычислительной техники и автоматизации ОИЯИ в 1988-1989 годах Николая Говоруна — члена-корреспондента Академии наук СССР, профессора, доктора физико-математических наук.
Microsoft и OpenAI построят ИИ-суперкомпьютер Stargate за $100 миллиардов
В России создают суперкомпьютер, работающий на частоте 1 трлн герц. Главная/Республика Марий Эл/Новости/Суперкомпьютер МарГУ вошёл в ТОП-20 России. hardware hpc iks-consulting анализ рынка ии облако россия суперкомпьютер. Компания iKS-Consulting обнародовала результаты исследования российского рынка облачных инфраструктур.
Суперкомпьютеры 2023: новые чемпионы и старые аутсайдеры
Изображение: minobrnauki. Его можно применять для анализа финансовых потоков в режиме реального времени, для хранения знаний в ИИ-системах, для моделирования биологических систем и в других прикладных задачах.
Но — таков результат применения российскими учеными «новой математики». Заодно и энергопотребление машины также оказалось значительно меньше. Почему так важно, чтобы Россия не была аутсайдером в мировом суперкомпьютерном рынке? Потому что XXI век — век создания сложнейших научно-технических систем - энергетических, атомных, космических, авиационных и др.
Поэтому они включены в стратегию ведущих держав как важнейший элемент национальной безопасности — речь не об оборонной технике только, а в целом - об ускорении научно-технического прогресса. И Совет безопасности РФ в прошлом году также принял решение о перевооружении основных отраслей промышленности на основе суперкомпьютерных технологий. Так что достижение российских математиков вселяет надежду. Производительность машины К-100, созданной Институтом прикладной математики им. Келдыша РАН - 100 терафлопс. Отличие и в использовании.
На обычном компьютере мы работаем с документами, с Интернетом, с электронной почтой. Ученый, конечно, решит и серьезную задачу, если сумеет составить простую, малозатратную по вычислениям модель. Но для сложных научных, промышленных, экологических задач ресурс PC мал - надо считать на суперкомпьютере. Счет суперкомпьютера ускоряет «распараллеливание» вычислений, и это также отличие: в нем задачи решаются вообще иначе. Счет по задаче - параллельно по разным ее частям - одновременно ведут множество процессоров, аналогичных нашим персональным компьютерам. Однако от этого, во-первых, сразу взлетает стоимость суперкомпьютера: для производительности 1 петафлопс - это несколько миллиардов рублей.
И, во-вторых, зашкаливает энергопотребление: для петафлопного комплекса - это 5-7 мегаватт, а при приближении на тех же принципах к производительности 10 петафлопс потребуется рядом ставить электростанцию. Это настолько серьезные затруднения, что сейчас весь мир ищет пути их преодоления. В частности, «распараллеливание» вычислений пытаются обеспечить за счет многоядерности процессора. Уже на следующий год Intel обещает ввести 16-ядерный процессор, разрабатывают и 48-ядерные процессоры. А графические платы, которые ранее использовались как игровые приставки, сейчас имеют уже несколько сотен. Сейчас возникла идея гибридных или гетерогенных компьютеров: не только у нас, но и в Европе, в Китае.
В них в одном узле объединены процессоры обычные, общего назначения и графические платы. Однако, оказалось: «сделать математику» для многоядерных процессоров очень сложно - ядра, поскольку их много, «мешают» друг другу.
С июня 2018 года лидером в списке самых мощных суперкомпьютеров мира является новый американский Summit. В списке суперкомпьютеров 2017 года, по данным Википедии , российские занимали три позиции 63, 227 и 412 места.
Лидирует в этом списке Китай 202 суперкомпьютера , за ним — США 143 суперкомпьютера. В Европе — 108 суперкомпьютеров. Фото Тимура Сабирова, Сколтех.
Подобрав оптимальное решение в программе, лечение можно применить к человеку. Алексей Попов генеральный конструктор проекта Из чего сделан «Тераграф» «Тераграф» является системой на базе центрального процессора Intel под управлением Linux, к которой подключены три вспомогательных вычислительных модуля — процессоры «Леонард Эйлер» — они выглядят как видеокарты, подключенные к материнской плате. Попов отметил, что для их создания были использованы пустые «болванки» чипов AMD, на которые записали инструкции архитектуры как прошивку, а также ПЛИСы программируемые логические интегральные схемы. Процессоры работают по уникальным алгоритмам, созданным российскими учеными, без них чип нельзя назвать процессором. При необходимости можно создать и российский чип, но пока такой задачи не стоит. Каждый модуль «Леонард Эйлер» имеет 24 ядра с тактовой частотой в 200 МГц.
При работе с графами технических характеристик хватает, чтобы обогнать мощнейшие серверные процессы Intel Xeon с частотой 3 ГГц. Еще одним преимуществом процессоров на новой российской архитектуре стали экономичность материалов для их изготовления и энергопотребление. Эти чипы требуют в 200 раз меньше кремния, чем один микропроцессор Intel Xeon, и потребляют в 10 раз меньше энергии. Все это открывает возможности для использования «Леонард Эйлер». Источник фото: Pixabay Трудности перевода Разработка кажется перспективной, однако на практике ее пока затруднительно использовать, рассказал Попов. По его словам, для работы процессора исходная информация должна быть записана как графы, а в большинстве случаев базы данных систематизированы в табличном формате.
В погоне за Люксембургом: академия наук подсчитала силу России на трех суперкомпьютерах
Он будет также задействован в исследованиях в разных областях науки, включая физику, химию, биологию, медицину и другие. Этот суперкомпьютер разработан на основе передовых технологий, и он войдёт в систему с ведущими научными центрами России. МГУ уже имеет опыт в создании суперкомпьютеров, и этот новый проект будет ещё более мощным.
Одна из задач Десятилетия — рассказать, какими научными именами и достижениями может гордиться наша страна. В течение всего Десятилетия при поддержке государства будут проходить просветительские мероприятия с участием ведущих деятелей науки, запускаться образовательные платформы, конкурсы для всех желающих и многое другое.
Компания «Яндекс» использует свои суперкомпьютеры для обучения нейросетевых моделей. Возможности суперкомпьютеров помогают переводчику «Яндекс» точнее и быстрее переводить с иностранных языков, а «Алисе» поддерживать живой диалог с пользователем.
На июнь 2023 г. Все эти компьютеры работают на графических ускорителях от Nvidia прошлых поколений — Tesla K, P-серия, A100. Впрочем, есть и менее мощные машины, например у «Тинькофф банка», «Росатома» или Курчатовского института. Самый мощный суперкомпьютер «Яндекса» — «Червоненкис» имеет 1592 узла с Nvidia A100 и занимает 27-е место в мире по вычислительной мощности, указано на сайте компании. Его мощность — 21,53 петафлопса. Производительность самого мощного суперкомпьютера в мире — Frontier США составляет 1194 петафлопса данные рейтинга Топ500. Бенчмарки показывают, что карты H100 в среднем в 1,66 раза быстрее карт A100, на которых работают существующие суперкомпьютеры, отмечает директор по исследованиям VisionLabs Александр Чигорин. Соответственно, 10 суперкомпьютеров с суммарным количеством чипов H100 в 15 000 единиц — это заявка на попадание в топ мирового суперкомпьютерного рейтинга, отмечает он.
Вот это прорыв: Россия попала в мировой топ самых мощных суперкомпьютеров
Суперкомпьютер Яндекса «Червоненкис» занял 19-ю строчку всемирного рейтинга суперкомпьютеров Top500, став самой производительной системой в России и Восточной Европе. В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира. Сегодня специалисты в мире работают над увеличением производительности суперкомпьютеров, создавая высокопроизводительные вычислительные машины на новых физических принципах. «Квантовый компьютер функционирующий, он гораздо страшнее атомный бомбы», — считает генеральный директор компании Acronis, сооснователь Российского квантового центра Сергей Белоусов. Суперкомпьютер Aurora, который будет развернут в Аргоннской национальной лаборатории, проектируемый компаниями Intel и Cray, обойдется в полмиллиарда долларов.
О конференции
| В России создан суперкомпьютер «Жорес» | «Квантовый компьютер функционирующий, он гораздо страшнее атомный бомбы», — считает генеральный директор компании Acronis, сооснователь Российского квантового центра Сергей Белоусов. |
| Фотонный суперкомпьютер запатентовали в России | В России представили суперкомпьютер «Тераграф», построенный на уникальном отечественном микропроцессоре. |
| Фотонный суперкомпьютер запатентовали в России | 360° | Сегодня специалисты в мире работают над увеличением производительности суперкомпьютеров, создавая высокопроизводительные вычислительные машины на новых физических принципах. |
| О конференции | Поэтому один из самых крупных суперкомпьютеров в России – в Гидрометцентре. |
Суперкомпьютер МГУ поможет повысить уровень кибербезопасности
При этом все сервисы продолжат работать, в т. Более того, мы просим всех держателей систем, входивших в список, присылать данные о любых изменениях, как если бы списки публиковались. Мы признательны всем тем, кто на протяжении многих лет делал свой вклад в развитие данного проекта и пополнял его, и искренне надеемся, что в обозримом будущем сможем анонсировать возобновление публикации списков.
Каждый модуль «Леонард Эйлер» имеет 24 ядра с тактовой частотой в 200 МГц. При работе с графами технических характеристик хватает, чтобы обогнать мощнейшие серверные процессы Intel Xeon с частотой 3 ГГц. Еще одним преимуществом процессоров на новой российской архитектуре стали экономичность материалов для их изготовления и энергопотребление. Эти чипы требуют в 200 раз меньше кремния, чем один микропроцессор Intel Xeon, и потребляют в 10 раз меньше энергии.
Все это открывает возможности для использования «Леонард Эйлер». Источник фото: Pixabay Трудности перевода Разработка кажется перспективной, однако на практике ее пока затруднительно использовать, рассказал Попов. По его словам, для работы процессора исходная информация должна быть записана как графы, а в большинстве случаев базы данных систематизированы в табличном формате. Есть несколько вариантов решений этой проблемы. Во-первых, составление новых баз данных графовым способом, во-вторых, преобразование табличных архивов в графовые. Но на оба варианта требуется много времени.
Андреев из ИВК считает, что разработка является актуальной пока только для исследовательской деятельности. Для IT-индустрии ее пока не применить, потому что она движется в сторону уплотнения транзисторов в процессорах, не считаясь с альтернативными системами вычисления.
Впервые суперкомпьютер был презентован в ноябре 2021 года. Производительность, которую заявили создатели, составляет 12 петафлопс, суперкомпьютер построен на базе узлов Nvidia DGX A100, специально разработанных для машинного обучения. Один такой узел из 700 имеющихся имеет 256 процессорных ядер, 8 графических ускорителей Nvidia A100 80G и 2 терабайта оперативной памяти. На момент выхода являлся сороковым в мире, седьмым в Европе и первым в России по мощности.
Является также первым аттестованным суперкомпьютером для работы с персональными данными. Заявленная мощность составляет 6,7 петафлопса, он построен на узлах DGX-2 от все той же Nvidia. Ломоносова в 2017 году, находится на территории Научно-исследовательского вычислительного центра университета. Рабочая производительность составляет 2,4 петафлопса, в пике достигает 4,9. Суперкомпьютер построен на базе 1730 вычислительного узла, которые имеют в совокупности 64 384 ядер, 110,7 терабайт оперативной памяти и Nvidia Tesla K40M в качестве графического ускорителя. Суммарно насчитывается 19 840 процессорных ядер, 20,5 терабайт оперативной памяти и 320 гигабайт видеопамяти полученной от использования восьми видеоускорителей NVIDIA A100 40G.
Используемые дистрибутивы Linux В самом рейтинге напротив каждого российского суперкомпьютера указано просто «Linux», но порывшись в интернете я узнал, что все решения от Nvidia работают на базе Ubuntu, которую «зеленые» слегка доработали под свои нужды. Получается, что все семь российских машин «крутятся» на Ubuntu. Для чего используются российские суперкомпьютеры? Суперкомпьютеры Яндекса используются для обучения нейронных сетей, используемых в проектах компании. Например, в Яндекс Браузере есть функция автоматического перевода видеороликов на русский язык. Этим как-раз таки занимается специальная нейронная сеть.
Умные устройства на базе помощника Алиса также подключены к нейронке и вся поступающая от них информация обрабатывается суперкомпьютерами. Суперкомпьютеры «Кристофари» являются единственными, которые открыты для использования другими пользователями. Сбербанк построила на их основе решение SberCloud, которое предлагает корпорациям для ускорения работы их ИТ-проектов. Ну и наверняка компания также задействует мощности для своих внутренних проектов, например в аналитике финансовых рынков. Ложка дегтя в эту бочку меда В ноябре 2022 года компания Nvidia заявила о том, что уходит из России и не будет более поддерживать корпоративный клиентский сектор. Еще в сентябре 2022 года правительство США запретило компаниям Nvidia и AMD поставлять российским корпорациям ряд высокотехнологичных продуктов.
Как видим, все наши суперкомпьютеры основаны на решениях от «зеленых» и уже к концу 2022 года становится заметным, что имеющиеся в мире суперкомпьютеры не стоят на месте и развиваются бешеными темпами. Например, самый мощный суперкомпьютер в России «Червоненкис» за полгода с июля по ноябрь опустился в мировом рейтинге на 3 пункта еще в июле 2022 года он занимал 22 место. Технологии не стоят на месте, а количесто информации для обработки постоянно прибавляется. Смогут ли топовые российские суперкомпьютеры, основанные на уже закрытых технологиях, в этой ситуации удерживаться в мировом топе? Особо остро стоит вопрос появления новых супермашин: как я понял из прочитанного в различных источниках, суперкомпьютер это не наше с вами «ведро», куда при желании можно вставить нужное количество оперативной памяти или новую видеокарту. Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый.
Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников! Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе.
Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов. Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек. В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста.
В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса. Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет.
Наряду с прочим, в рамках конференции Владимир Путин призвал расширить подготовку кадров в сфере искусственного интеллекта. Президент РФ назвал очевидным то, что с внедрением искусственного интеллекта ИИ человечество начинает новую главу. Ранее он назвал монопольное доминирование в России западных платформ искусственного интеллекта опасным и недопустимым явлением. По мнению президента, в сфере создания систем искусственного интеллектам необходимо использовать российские решения. Еще Путин заявил, что в ближайшее время будет утверждена новая стратегия развития искусственного интеллекта.