И тогда возникает вопрос: «Читает ли Алиса последние новости так, как она это делала раньше?».
Шёпот и эмоции в Алисе: история развития голосового синтеза Яндекса
Утреннее шоу Алисы теперь можно настроить на свой вкус. Для настройки новостей на умной колонке необходимо выполнить несколько простых шагов. В Алису от Яндекса добавили функцию Утреннее шоу. Умная лампочка Яндекс с Алисой, цоколь E27, белая (YNDX-00501). Шоу и новости доступны в и, Станции Мини и других умных колонках, где есть голосовой помощник Алиса.
Алиса запустила утреннее шоу с персональными рекомендациями
Шоу и новости доступны в и, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. Утреннее шоу Алисы поможет настроиться на день и не забыть о важном. Алиса расскажет о погоде, представит персональную подборку новостей, включит короткий подкаст, специально подобранный трек или плейлист. Чтобы запустить программу, нужно сказать: «Алиса, включи утреннее шоу!». Паузы между новостями и песнями голосовой помощник заполняет актуальной информацией. Шоу и новости доступны в «и», «Станции Мини» и других умных колонках, где есть голосовой помощник «Алиса». «Мы хотим, чтобы Алиса была не только помощником, но и другом, с которым приятно проводить время. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении». «Мы хотим, чтобы Алиса была не только помощником, но и другом, с которым приятно проводить время. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении».
8 новых фишек «Яндекс Станций» и «Яндекс ТВ Станций», которые появились в апреле
«Яндекс» представил апрельское обновление «Алисы» и своих умных устройств. Пользователи умных колонок с голосовым помощником «Алиса» теперь могут послушать новости технологий от портала Утреннее шоу. Шоу и новости доступны в «и», «Станции Мини» и других умных колонках, где есть голосовой помощник «Алиса». «Яндекс» добавил возможность персональной настройки утреннего шоу голосового помощника «Алиса». Функция появилась в ассистенте в апреле этого года. «Алиса» по-прежнему умеет зачитывать по утрам актуальные новости.
Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро
Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих. Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса.
Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения. Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно.
Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов. Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex. Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес. Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку. Теперь новые «правила раскрытия» можно добавлять через доливание синтетики и данных, размеченных пользователями Толоки, а сеть показывает лучшее качество, чем FST, потому что учитывает глобальный контекст. Итак, мы научили Алису говорить с правильными интонациями, но это не сделало ее человеком — ведь в нашей речи есть еще стиль и эмоции. Работа продолжалась.
С чувством, толком, расстановкой: стили голоса Алисы Один и тот же текст можно произнести десятком разных способов, при этом сам исходный текст, как правило, никаких подсказок не содержит. Если отправить такой текст в акустическую модель без дополнительных меток и обучить её на достаточно богатом различными стилями и интонациями корпусе, то модель сойдёт с ума — либо переусреднит всё к металлическому «голосу робота», либо начнёт генерировать случайный стиль на каждое предложение. Это и произошло с Алисой: в начале она воспроизводила рандомные стили в разговоре. Казалось, что у неё менялось настроение в каждом предложении. Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку». Суть в том, что через очень lossy-пространство всего 16 чисел на всё предложение разрешаем сетке посмотреть на ответ — истинную мел-спектрограмму, которую ей и нужно предсказать на обучении. За счёт такой «шпаргалки» сеть не пытается выдумывать непредсказуемую по тексту компоненту, а для другой информации не хватит размерности шпаргалки. На инференсе мы генерируем стилевую подсказку, похожую на те, что были в обучающем сете. Это можно делать, взяв готовый стиль из обучающего примера или обучив специальную подсеть генерировать стили по тексту. Если эту подсеть обучить на особом подмножестве примеров, можно получить специальные стили для, скажем, мягкого или дружелюбного голоса.
Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки. Там не было разметки, мы просто нашли кластеры стилей и провели между ними соревнование. Победил кластер с очень мягкой и приятной интонацией. Дальше началось самое интересное. Мы взяли образцы синтезированной «мягкой» речи Алисы и фрагменты речи актрисы Татьяны Шитовой, которые относились к более резкому стилю. Затем эти образцы с одним и тем же текстом протестировали вслепую на толокерах. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека. В принципе, этого можно было ожидать: уверен, многие предпочтут более ласковый разговор по телефону то есть с потерей в качестве живому, но холодному общению.
К примеру, так звучал резкий голос: А так — мягкий: Результаты турниров позволили нам выделить во всем обучающем датасете данные, которые относятся к стилю-победителю, и использовать для обучения только их. Благодаря этому Алиса по умолчанию стала говорить более мягким и дружелюбным голосом. Этот пример показывает, что с точки зрения восприятия важно работать не только над качеством синтеза, но и над стилем речи. После этого оставалось только обогатить Алису новыми эмоциями. Бодрая или спокойная: управляем эмоциями Алисы Когда вы включаете утреннее шоу Алисы или запускаете автоматический перевод лекции на YouTube, то слышите разные голоса — бодрый в первом случае и более флегматичный в другом. Эту разницу сложно описать словами, но она интуитивно понятна — люди хорошо умеют распознавать эмоции и произносить один и тот же текст с разной эмоциональной окраской.
Telegram-канал создателя Трешбокса про технологии «С умной колонкой можно слушать что угодно.
Утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь. Несложные манипуляции с настройками — и человек получает именно то, что хочет.
Алиса прекрасно ориентируется в происходящем и говорит о том, что волнует людей. Например, сейчас в паузах между новостями и песнями Алиса рассказывает, как с пользой и удовольствием провести время дома. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении», — говорит руководитель продукта Андрей Законов. Утреннее шоу доступно в Яндекс.
Можно даже смотреть прямые трансляции Российской Премьер-Лиги, Лиги чемпионов и не только. Управляем голосом любым видео на «ТВ Станции» Управлять перематывать, переключать, включать субтитры и т.
Просто дайте Алисе нужную команду и она все сделает. Персонализация утреннего шоу Порядок контента и его жанр можете выбрать и настроить под себя. Здесь можно выбрать мероприятия, которые хотели бы видеть у себя в рекомендациях. Радионяня mode on Теперь где бы вы ни были — в соседней комнате или отошли по делам, оставив ребенка с бабушкой, няней и т.
Что нового в апреле у Алисы и умных устройств
Если же мы просто напишем «новости» без предварительной настройки, то голосовой помощник нам выдаст такое сообщение: Дополню, что настроить Алису можно не только в приложении Яндекса с 12 сентября оно называется Яндекс. Старт , но и через Яндекс. Браузер на телефоне или компьютере. После просьбы «Настроить новости» Алиса скажет: Выберите новости, которые хотите слушать в ответ на команду «Алиса, расскажи новости». Отмечаем соответствующие кружочки и нажимаем «Сохранить». На телефоне это выглядит так: А на ноутбуке или компьютере вот так: Другими словами, настроить новости Алисы можно как с телефона, так и ноутбука. Главное, чтобы был установлен Яндекс.
Возникли проблемы? Следите за событиями Севастополя в режиме онлайн. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Благовещенска Лента новостей Благовещенска — последние новости Благовещенска оперативно. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Горного Алтая Лента новостей Горного Алтая — последние новости Горного Алтая оперативно. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Хакасии Лента новостей Хакасии — последние новости Хакасии оперативно.
Команды для Алисы — это отдельные приказы, которые выполняются сразу после их произнесения. Например, команда «Алиса, включи свет» включает свет в комнате. Команды можно использовать для выполнения простых действий, которые не требуют автоматизации. Основные отличия между сценариями и командами для Алисы: Сценарии выполняются последовательно, а команды — сразу после произнесения.
Сценарии позволяют автоматизировать выполнение определенных действий, а команды — нет. Сценарии могут включать в себя как команды для Алисы, так и команды для других устройств умного дома. Рассмотрим конкретные примеры сценариев для Алисы и включенные в них команды. Так, сценарий «Алиса, включи утро» может состоять из команд: включить свет на кухне; включить кофеварку; включить телевизор. Без сценария эти действия можно запустить самостоятельно, произнося команды для Алисы: «Алиса, включи свет на кухне», «Алиса, включи кофеварку», «Алиса, включи телевизор». Или при запуске на смартфоне условного сценария «Возвращение с работы» вы запускаете цепочку команд: «Включить свет», «Запустить музыку», «Опустить шторы» и прочее. Приложение можно использовать для создания нескольких видов сценариев.
Персонализация утреннего шоу Теперь пользователь может решать, каким будет ваше утреннее шоу. Например, можно выбрать, какой контент и в каком порядке будет воспроизводиться: подкасты на разные темы, прогноз погоды, конкретные навыки, музыкальные треки или новости из определённых источников. Афиша мероприятий и новости Анонсы интересных событий в городе будут отображаться на главном экране Станции Дуо Макс. Чтобы узнать о предстоящем событии больше, нужно нажать на кнопку «Подробнее», и Алиса покажет все детали во встроенном Браузере. Если во время прослушивания нужно перейти к новой рубрике, достаточно сказать Алисе «Дальше» — и она тут же перейдёт к следующему блоку.
8 новых фишек «Яндекс Станций» и «Яндекс ТВ Станций», которые появились в апреле
Утреннее шоу Алисы — как настроить и использовать Утреннее шоу Алисы позволяет ознакомиться с новейшими новостями, прослушать интересные подкаcты и. Для того чтобы настроить новости на колонке с Алисой Яндекс. Настройте Утреннее шоу для себя: выберите источники новостей, подкасты и даже гороскоп Зайдите в приложение Яндекс и выберите «Устройства»; Нажмите на вкладку «Настройки»; Выберите «Шоу Алисы». Как настроить новости Яндекс Алиса. «Алиса» научилась персонализировать «Утреннее шоу». В Алису от Яндекса добавили функцию Утреннее шоу. Чтобы запустить программу, нужно сказать: «Алиса, включи утреннее шоу!». Паузы между новостями и песнями голосовой помощник заполняет актуальной информацией.
«Яндекс» научил «Алису» вести персональное утреннее шоу
Помните проблему с потерей контекста в нашей ранней параметрике? Если нет нормального контекста, то нет и нормальной интонации в речи. Решение пришло из машинного перевода. Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком.
Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов. При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге. Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода.
Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать. На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели.
Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели.
Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука.
Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия». Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты.
Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь.
Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины.
Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением.
А так звучит результат синтеза: 3. Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос.
Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл.
За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих.
Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе.
Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса.
Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels.
Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения.
Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы.
Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов.
Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex.
Происшествия, новости культуры, спорта, политики и экономики Лента новостей Горного Алтая Лента новостей Горного Алтая — последние новости Горного Алтая оперативно. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Хакасии Лента новостей Хакасии — последние новости Хакасии оперативно. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Севастополя Лента новостей Севастополя — последние новости Севастополя оперативно. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Тольятти Лента новостей Тольятти — последние новости Тольятти оперативно. Следите за событиями Тольятти в режиме онлайн.
Зайдите в приложение Дом с Алисой. Нажмите «Параметры». Теперь Алиса будет озвучивать напоминания только на тех колонках, которые вы выберете Выберите «Виртуальный ассистент», затем — «Напоминания». Затем выберите, где озвучивать напоминание. В этом пункте есть возможность слушать напоминания от Алисы на той колонке, где вы его оставили, на всех сразу или выбранных вручную. Вышла iOS 17. Теперь к ним добавились уведомления о доставке из ВкусВилл. Достаточно сказать: «Алиса, где мой заказ из ВкусВилла? Голосовой помощник ответит вам, поэтому заглядывать в смартфон не придется. Ну, а чтобы не задавать лишних вопросов, можете просто включить уведомления о доставке из Лавки, чтобы узнавать ее статус в реальном времени. Уведомления от Лавки теперь можно получать прямо на умную колонку Нажмите на значок шестеренки и выберите «Контент».
Чтобы узнать о предстоящем событии больше, нужно нажать на кнопку «Подробнее», и Алиса покажет все детали во встроенном Браузере. Если во время прослушивания нужно перейти к новой рубрике, достаточно сказать Алисе «Дальше» — и она тут же перейдёт к следующему блоку. Радионяня для каждого в семье Теперь каждый пользователь может включить режим радионяни на Яндекс Станции и получать звуки из детской прямо на телефон. Нужно только пригласить близких в свой Дом и указать, кто может включать режим радионяни. Сообщения между Станциями Когда нужно передать близким или друзьям что-то важное, можно отправлять сообщение прямо на умную колонку со своей Станции.
Новые функции «Алисы» и «Яндекс Станций» за апрель 2024 года
И тогда возникает вопрос: «Читает ли Алиса последние новости так, как она это делала раньше?». Шаг 3: Выберите раздел «Новости». Слушать утреннее шоу Алисы Утреннее шоу Алисы поможет настроиться на день и не забыть о важном. Команды и сценарии для Алисы: покоряем умного помощника. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении», — говорит руководитель продукта Андрей Законов.