И тогда возникает вопрос: «Читает ли Алиса последние новости так, как она это делала раньше?». К слову, Алиса теперь умеет вести "утренние шоу". «Алиса» научилась персонализировать «Утреннее шоу» и включать новости радиостанций. Мы расскажем, что такое сценарии для Алисы, чем они отличаются от команд и какие хорошие команды уже придумали пользователи. Тогда, услышав запрос «Расскажи новости», Алиса будет всегда включать новости нужного издания. Кроме этого, их можно добавить в утреннее шоу Алисы.
Что нового в апреле у Алисы и умных устройств
К слову, Алиса теперь умеет вести "утренние шоу". Навык «Утреннее шоу» Алисы идеально подходит для людей, которые хотят быть в курсе всех новостей и интересных мероприятий. Утреннее шоу Алисы теперь можно настроить на свой вкус, указав тематику новостей и подкастов. Алиса с каждым днем становится лучше, и теперь у нее появилось собственное утреннее шоу! Каждое утро вас ждет коктейль из рассказа о погоде, персональной подборки новостей, выпуска классного подкаста и, специально подобранных под вас треков с комментариями Алисы!
На колонках с Алисой появилась функция Утреннего шоу
Тогда, услышав запрос «Расскажи новости», Алиса будет всегда включать новости нужного издания. Кроме этого, их можно добавить в утреннее шоу Алисы. Оказалось, что люди выбирают синтезированный вариант Алисы, несмотря на более плохое качество по сравнению с реальной речью человека. Как включить новости в Яндекс Браузере.
Умные колонки с "Алисой" научились вести персонализированные утренние шоу
| Топовые фишки Яндекс.Станции, о которых вы могли не знать | Как настроить новости Яндекс Алиса. «Алиса» научилась персонализировать «Утреннее шоу». |
| Утреннее шоу Алисы теперь можно настроить на свой вкус | Чтобы выбрать источник новостей, откуда Алиса будет зачитывать информацию, воспользуйтесь одним из следующих способов: скажите голосовой помощнице в приложении Яндекс фразу «Алиса, настрой новости» — выберите источник вручную в приложении Яндекс. |
| Что нового в апреле у Алисы и умных устройств | «Алиса» научилась персонализировать «Утреннее шоу» и включать новости радиостанций. |
Утреннее шоу «Алисы» стало персональным
- «Алиса» научилась вести утренние шоу
- Вышло апрельское обновление Алисы и умных устройств Яндекса
- Алиса (голосовой помощник) — Википедия
- Вступление
- Как взглянуть на «Алису» по-новому? 5 необычных навыков для «Яндекс.Станции» | MAXIM
- Новые спортивные каналы по подписке
Что умеет «Яндекс-станция»: 17 полезных функций и команд для Алисы
По ключевой фразеПользователь произносит определенную фразу — и сценарий запускается. Например, «Алиса, включи свет в гостиной». По расписаниюСценарий запускается в определенное время или по определенным дням недели. Например, «Включить кофеварку в 7 утра». По событиюСценарий запускается при срабатывании определенного датчика или устройства. Например, «Включить свет в коридоре, если датчик движения обнаружит движение». По уведомлениюСценарий запускается, если на телефон пользователя приходит уведомление от системы.
Например, «Включить камеру, если на датчик движения поступил сигнал». По звукуСценарий запускается, если система распознает определенный звук. Например, «Включить музыку, если в доме слышен плач ребенка». Ранее мы рассказывали: Как усилить Wi-Fi сигнал в квартире или доме?
Для этого пользователь может сам выбрать тематику новостей и подкастов. Например, новости спорта или подкасты про кино. Кроме этого, в голосовом помощнике появились новости радиостанций. Утреннее шоу - это развлекательная программа, в которой Алиса выступает в роли ведущей. Она читает новости, включает музыку и развлекает слушателей веселыми историями.
Можно сказать, что утреннее шоу от Алисы — это некая замена радиостанциям. Обратите внимание: В отличие от радиостанций, в утреннем шоу Алисы нет рекламы. Отметим, что включить утреннее шоу от Алисы можно не только утром. Оно доступно в любое время дня. При этом для шоу всегда подбираются актуальные к текущему моменту новости если в настройках указано, что шоу должно включать в себя новости. И тогда вместо мелодии будильника будет воспроизводиться шоу. Как настроить утреннее шоу от Алисы Пользователь Яндекс Станции может сформировать в утреннем шоу именно то, что он хочет слышать с утра.
Чтобы запустить программу, достаточно сказать: «Алиса, включи утреннее шоу! Поэтому мы учим ее следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении», — говорит руководитель продукта Андрей Законов. Утреннее шоу доступно в Яндекс.
Утреннее шоу Алисы теперь можно настроить на свой вкус
| «Алиса» научилась вести утренние шоу | Утреннее шоу Алисы теперь можно настроить на свой вкус. Для этого пользователь может сам выбрать тематику новостей и подкастов. |
| Голосовой помощник Алиса начала вести свое утреннее шоу | Кроме того, в голосовом помощнике появились новости радиостанций. Утреннее шоу — это развлекательная программа, где «Алиса» выступает в роли ведущей. |
| Что умеет «Яндекс-станция»: 17 полезных функций и команд для Алисы | Шоу и новости доступны в «и», «Станции Мини» и других умных колонках, где есть голосовой помощник «Алиса». |
| Что нового в апреле у Алисы и умных устройств | Умные колонки с голосовым помощником "Алиса" научились проводить утренние шоу, которые подбираются под конкретных пользователей. |
На колонках с Алисой появилась функция Утреннего шоу
| Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро | Для настройки новостей на колонке Алиса Яндекс, найдите раздел «Новости» или «Информация» и выберите его. |
| Новые функции «Алисы» и «Яндекс Станций» за апрель 2024 года | Шоу и новости доступны в и, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. |
| Что умеет «Яндекс-станция»: 17 полезных функций и команд для Алисы | Теперь пользователи могут добавить новости в Утреннее шоу Алисы. |
| Каталог навыков Алисы, голосового помощника от Яндекса | Теперь пользователи могут добавить новости в Утреннее шоу Алисы. |
| 8 новых фишек «Яндекс Станций» и «Яндекс ТВ Станций», которые появились в апреле | Для этого достаточно открыть приложение Яндекс и сказать: «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей». |
Что нового в апреле у Алисы и умных устройств
Она достаточно хорошо подходит для задач, где нужно просто последовательно проговаривать фонемы и не надо рисовать глобальную интонацию. Затем данные передаются на второй блок — вокодер — который и генерирует звук то есть создаёт условный wav по его параметрическому представлению. Вокодер определяет низкоуровневые свойства звука: sampling rate, громкость, фазу в сигнале. Наш вокодер в первой системе был детерминированным DSP-алгоритмом не обучался на данных — подобно декодеру mp3, он «разжимал» параметрическое представление звука до полноценного wav.
Естественно, такое восстановление сопровождалось потерями — искусственный голос не всегда был похож на оригинал, могли появляться неприятные артефакты вроде хрипов для очень высоких или низких голосов. Схема параметрического синтеза Это стандартная архитектура для любой ранней параметрики со своими достоинствами и недостатками. Главный плюс — для обучения модели нужно мало данных нам хватило 5-10 часов записей человеческой речи.
Можно синтезировать любой произвольный текст, который даже будет плавно звучать. К сожалению, слишком плавно: недостатком раннего параметрического синтеза было то, что полученный голос звучал неестественно. Он был слишком гладким, лишённым интонаций и эмоций, звенел металлом.
Люди так не говорят. Вот как звучал голос при раннем параметрическом синтезе: Причина неестественности синтезированного голоса кроется в самой архитектуре. У акустической модели мало информации о тексте в целом.
Даже рекуррентная нейросеть, которая, казалось бы, умеет запоминать предыдущие состояния, очень быстро забывает их и фактически не учитывает полный текст. При этом человек обычно произносит речь, понимая, что только что прозвучало и что будет дальше по тексту. Кроме того, человеческая речь мультимодальна — есть несколько способов произнести текст, каждый из которых описывается сигналом и звучит более-менее нормально.
Но среднее между этими способами звучит неестественно. Проблема стандартных регрессионных методов глубокого обучения в том, что они ищут одну моду — «хорошее среднее» — и попадают в такие «провалы неестественности». В результате оказывается, что лучше случайно выбрать один из двух способов, чем попасть в среднее между ними.
Впрочем, даже если акустическая модель и смогла бы разобраться в контексте и выдать обогащённое информацией промежуточное состояние, то с ним уже не мог справиться примитивный вокодер. Поэтому мы не остановились и стали искать более совершенные решения. Конкатенативный синтез: рождение Алисы В 2016 году мы решили создать Алису — сразу было понятно, что это более амбициозная задача, чем всё, чем занимались раньше.
Дело в том, что в отличие от простых TTS-инструментов, голосовой помощник должен звучать человечно, иначе люди просто не станут с ним или с ней общаться. Предыдущая архитектура совершенно не подходила. К счастью, был и другой подход.
Точнее, даже два. Тогда как раз набирал обороты нейропараметрический подход, в котором задачу вокодера выполняла сложная нейросетевая модель. Например, появился проект WaveNet на базе свёрточной нейросети, которая могла обходиться и без отдельной акустической модели.
На вход можно было загрузить простые лингвистические данные, а на выходе получить приличную речь. Первым импульсом было пойти именно таким путём, но нейросети были совсем сырые и медленные, поэтому мы не стали их рассматривать как основное решение, а исследовали эту задачу в фоновом режиме. На генерацию секунды речи уходило до пяти минут реального времени.
Это очень долго: чтобы использовать синтез в реальном времени, нужно генерировать секунду звука быстрее, чем за секунду. Что же делать? Если нельзя синтезировать живую речь с нуля, нужно взять крошечные фрагменты речи человека и собрать из них любую произвольную фразу.
Напомню, что в этом суть конкатенативного синтеза, который обычно ассоциируется с методом unit selection. Пять лет назад он уже давал наилучшее качество при достаточном количестве данных в задачах, где была нужна качественная речь в реальном времени. И здесь мы смогли переиспользовать нейросети нашей старой параметрики.
Работало это следующим образом: На первом шаге мы использовали нейросетевую параметрику, чтобы синтезировать речь с нуля — подобному тому, как делали раньше. Напомню, что по качеству звучания результат нас не устраивал, но мог использоваться как референс по содержанию. На втором шаге другая нейросеть подбирала из базы фрагментов записанной речи такие, из которых можно было собрать фразу, достаточно близкую к сгенерированной параметрикой.
Вариантов комбинаций фрагментов много, поэтому модель смотрела на два ключевых показателя. Первый — target-cost, точность соответствия найденного фрагмента гипотезе, то есть сгенерированному фрагменту. Второй показатель — join-cost, насколько два найденных соседних фрагмента соответствуют друг другу.
По сути, нужно было выбрать вариант, для которого сумма target-cost и join-cost минимальна. Эти параметры можно считать разными способами — для join-cost мы использовали нейросети на базе Deep Similarity Network, а для target-cost считали расстояние до сгенерированной параметрикой гипотезы. Сумму этих параметров, как и принято в unit selection, оптимизировали динамическим программированием.
Кстати, подобный подход использовался и при создании Siri 2. Схема конкатенативного синтеза У такого подхода тоже есть плюсы и минусы. Среди достоинств — более естественное звучание голоса, ведь исходный материал не синтезирован, а записан вживую.
Правда, есть и обратная сторона: чем меньше данных, тем более грубо будут звучать места склейки фрагментов. Для шаблонных фраз всё более-менее хорошо, но шаг влево или вправо — и вы замечаете склейку. Поэтому нужно очень много исходного материала, а это требует многих часов записи голоса диктора.
К примеру, в первые несколько лет работы над Алисой нам пришлось записать несколько десятков часов. Это несколько месяцев непрерывной работы с актрисой Татьяной Шитовой в студии. При этом нужно не просто «прочитать текст по листочку».
Чем более нейтрально будет звучать голос, тем лучше. Обычно от актёров ждут эмоциональности, проявления темперамента в своей речи.
Музыке - в нем собраны треки, отобранные для пользователя. Создатели подчеркивают, что Алиса прекрасно ориентируется в происходящем и говорит о том, что волнует людей. Например, сейчас в паузах между новостями и песнями Алиса рассказывает, как с пользой и удовольствием провести время дома. Поэтому мы учим ее следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу - первый шаг в этом направлении", - говорит руководитель продукта Андрей Законов. Где слушать Утреннее шоу доступно в Яндекс.
Новостной блок длится до 3 минут в рамках шоу. Тематический блок длится до 3 минут в рамках шоу. Навыки длятся до 1 минуты в рамках шоу. Активируйте и деактивируйте переключатели около тех пунктов контента, которые вы хотите или не хотите слышать в рамках утреннего шоу. Приведем простой пример настройки утреннего шоу через приложение. Тогда в утреннем шоу будет, помимо прочего, рассказываться мудрость дня.
Ещё больше видео Любой контент, который найдётся в поиске по видео, сразу воспроизведется в удобном плеере «ТВ Станции». Управлять можно голосом: поставить на паузу, продолжить, перемотать назад, выбрать качество или включить субтитры. Персонализируйте утреннее шоу Теперь пользователи сами смогут решать, каким будет их утреннее шоу. Например, выбрать, какой контент и в каком порядке они хотят слушать: подкасты на разные темы, прогноз погоды, конкретные навыки, музыкальные треки или новости из определённых источников. Афиша мероприятий и новости Анонсы интересных мероприятий будут отображаться на главном экране «Станции Дуо Макс».
Утреннее шоу «Алисы» стало персональным
Шоу и новости доступны в и, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. Навык «Утреннее шоу» Алисы идеально подходит для людей, которые хотят быть в курсе всех новостей и интересных мероприятий. Кроме того, в голосовом помощнике появились новости радиостанций. Утреннее шоу — это развлекательная программа, где «Алиса» выступает в роли ведущей. Утреннее шоу Алисы теперь можно настроить на свой вкус. Для настройки новостей на умной колонке необходимо выполнить несколько простых шагов. Умные колонки с голосовым помощником "Алиса" научились проводить утренние шоу, которые подбираются под конкретных пользователей. Утреннее шоу Алисы теперь можно настроить на свой вкус. Для этого пользователь может сам выбрать тематику новостей и подкастов.
Утреннее шоу Алисы стало персональным 😎
Музыке", где собраны треки, отобранные для пользователя. Также "Яндекс" обучил своего голосового помощника ориентироваться в происходящем и говорить о том, что волнует людей. Например, сейчас в паузах между новостями и песнями "Алиса" рассказывает, как с пользой и удовольствием провести время дома. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу - первый шаг в этом направлении", - отметил руководитель продукта Андрей Законов.
Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины. Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент.
Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3. Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос. Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих.
Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса. Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение. В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта.
Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения. Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов. Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex.
Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес. Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку. Теперь новые «правила раскрытия» можно добавлять через доливание синтетики и данных, размеченных пользователями Толоки, а сеть показывает лучшее качество, чем FST, потому что учитывает глобальный контекст. Итак, мы научили Алису говорить с правильными интонациями, но это не сделало ее человеком — ведь в нашей речи есть еще стиль и эмоции. Работа продолжалась. С чувством, толком, расстановкой: стили голоса Алисы Один и тот же текст можно произнести десятком разных способов, при этом сам исходный текст, как правило, никаких подсказок не содержит. Если отправить такой текст в акустическую модель без дополнительных меток и обучить её на достаточно богатом различными стилями и интонациями корпусе, то модель сойдёт с ума — либо переусреднит всё к металлическому «голосу робота», либо начнёт генерировать случайный стиль на каждое предложение. Это и произошло с Алисой: в начале она воспроизводила рандомные стили в разговоре. Казалось, что у неё менялось настроение в каждом предложении.
Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку». Суть в том, что через очень lossy-пространство всего 16 чисел на всё предложение разрешаем сетке посмотреть на ответ — истинную мел-спектрограмму, которую ей и нужно предсказать на обучении. За счёт такой «шпаргалки» сеть не пытается выдумывать непредсказуемую по тексту компоненту, а для другой информации не хватит размерности шпаргалки. На инференсе мы генерируем стилевую подсказку, похожую на те, что были в обучающем сете. Это можно делать, взяв готовый стиль из обучающего примера или обучив специальную подсеть генерировать стили по тексту. Если эту подсеть обучить на особом подмножестве примеров, можно получить специальные стили для, скажем, мягкого или дружелюбного голоса. Или резкого и холодного. Или относительно нейтрального. Чтобы определиться со стилем по умолчанию, мы устроили турнир, где судьями выступали пользователи Толоки. Там не было разметки, мы просто нашли кластеры стилей и провели между ними соревнование.
Голосовой помощник следит за новостными выпусками девяти радиостанций. Станции, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс, выбрать пункт «Устройства», далее выбрать «Аккаунт» и перейти в «Настройки шоу Алисы».
А куда нажать? Это я к тому, что не плохо бы ссылочку или инструкцию какую то в конце сообщения..
Вышло апрельское обновление Алисы и умных устройств Яндекса Валентин Снежин 25 апреля 2024 в 12:00 Умные устройства с Алисой сегодня получили очередное обновление, которое значительно расширяет функционал и возможности Станций. Она откроет тексты песен не только российских, но и зарубежных исполнителей. Кнопка «Т» в музыкальном плеере даст понять, для каких треков доступен текст. Персонализация утреннего шоу Теперь пользователь может решать, каким будет ваше утреннее шоу. Например, можно выбрать, какой контент и в каком порядке будет воспроизводиться: подкасты на разные темы, прогноз погоды, конкретные навыки, музыкальные треки или новости из определённых источников.
Читает ли Алиса последние новости? Настраиваем её на телефоне и на компьютере
Например, человек может выбрать новости спорта и подкасты про кино. Кроме того, в голосовом помощнике появились новости радиостанций. Утреннее шоу — это развлекательная программа, где «Алиса» выступает в роли ведущей. Она читает новости, ставит людям музыку и развлекает историями на разные темы — почти как настоящий диджей. Чтобы она включала наиболее подходящий контент, нужно указать свои предпочтения в настройках. Сейчас в голосовом помощнике доступны 11 новостных тематик и 21 рубрика для подкастов.
А как продолжить. Роутер переключил канал и Алиса молчит. Сказал продолжить - в момент отключения играла музыка, Алиса начала играть просто музыку. С начала слушать не интересно. Алексей Киваков.
Лучше разделить это преобразование на два шага: сначала нарисовать звук в особом параметрическом отсюда название метода пространстве, а затем преобразовать параметрическое представление звука в wav-файл. В 2014 году нейросетевые методы речевого синтеза только зарождались. Тогда качеством правил конкатенативный синтез, но нам в эру SpeechKit было необходимо легковесное решение для Навигатора , поэтому остановились на простом и дешёвом параметрическом синтезе. Он состоял из двух блоков: Первый — акустическая модель. Она получает лингвистические данные разбитые на фонемы слова и дополнительную разметку и переводит их в промежуточное состояние, которое описывает основные свойства речи — скорость и темп произнесения слов, интонационные признаки и артикуляцию — и спектральные характеристики звука. К примеру, в начале, до появления Алисы, в качестве модели мы обучали рекуррентную нейросеть RNN с предсказанием длительности. Она достаточно хорошо подходит для задач, где нужно просто последовательно проговаривать фонемы и не надо рисовать глобальную интонацию. Затем данные передаются на второй блок — вокодер — который и генерирует звук то есть создаёт условный wav по его параметрическому представлению. Вокодер определяет низкоуровневые свойства звука: sampling rate, громкость, фазу в сигнале. Наш вокодер в первой системе был детерминированным DSP-алгоритмом не обучался на данных — подобно декодеру mp3, он «разжимал» параметрическое представление звука до полноценного wav. Естественно, такое восстановление сопровождалось потерями — искусственный голос не всегда был похож на оригинал, могли появляться неприятные артефакты вроде хрипов для очень высоких или низких голосов. Схема параметрического синтеза Это стандартная архитектура для любой ранней параметрики со своими достоинствами и недостатками. Главный плюс — для обучения модели нужно мало данных нам хватило 5-10 часов записей человеческой речи. Можно синтезировать любой произвольный текст, который даже будет плавно звучать. К сожалению, слишком плавно: недостатком раннего параметрического синтеза было то, что полученный голос звучал неестественно. Он был слишком гладким, лишённым интонаций и эмоций, звенел металлом. Люди так не говорят. Вот как звучал голос при раннем параметрическом синтезе: Причина неестественности синтезированного голоса кроется в самой архитектуре. У акустической модели мало информации о тексте в целом. Даже рекуррентная нейросеть, которая, казалось бы, умеет запоминать предыдущие состояния, очень быстро забывает их и фактически не учитывает полный текст. При этом человек обычно произносит речь, понимая, что только что прозвучало и что будет дальше по тексту. Кроме того, человеческая речь мультимодальна — есть несколько способов произнести текст, каждый из которых описывается сигналом и звучит более-менее нормально. Но среднее между этими способами звучит неестественно. Проблема стандартных регрессионных методов глубокого обучения в том, что они ищут одну моду — «хорошее среднее» — и попадают в такие «провалы неестественности». В результате оказывается, что лучше случайно выбрать один из двух способов, чем попасть в среднее между ними. Впрочем, даже если акустическая модель и смогла бы разобраться в контексте и выдать обогащённое информацией промежуточное состояние, то с ним уже не мог справиться примитивный вокодер. Поэтому мы не остановились и стали искать более совершенные решения. Конкатенативный синтез: рождение Алисы В 2016 году мы решили создать Алису — сразу было понятно, что это более амбициозная задача, чем всё, чем занимались раньше. Дело в том, что в отличие от простых TTS-инструментов, голосовой помощник должен звучать человечно, иначе люди просто не станут с ним или с ней общаться. Предыдущая архитектура совершенно не подходила. К счастью, был и другой подход. Точнее, даже два. Тогда как раз набирал обороты нейропараметрический подход, в котором задачу вокодера выполняла сложная нейросетевая модель. Например, появился проект WaveNet на базе свёрточной нейросети, которая могла обходиться и без отдельной акустической модели. На вход можно было загрузить простые лингвистические данные, а на выходе получить приличную речь. Первым импульсом было пойти именно таким путём, но нейросети были совсем сырые и медленные, поэтому мы не стали их рассматривать как основное решение, а исследовали эту задачу в фоновом режиме. На генерацию секунды речи уходило до пяти минут реального времени. Это очень долго: чтобы использовать синтез в реальном времени, нужно генерировать секунду звука быстрее, чем за секунду. Что же делать? Если нельзя синтезировать живую речь с нуля, нужно взять крошечные фрагменты речи человека и собрать из них любую произвольную фразу. Напомню, что в этом суть конкатенативного синтеза, который обычно ассоциируется с методом unit selection. Пять лет назад он уже давал наилучшее качество при достаточном количестве данных в задачах, где была нужна качественная речь в реальном времени. И здесь мы смогли переиспользовать нейросети нашей старой параметрики. Работало это следующим образом: На первом шаге мы использовали нейросетевую параметрику, чтобы синтезировать речь с нуля — подобному тому, как делали раньше. Напомню, что по качеству звучания результат нас не устраивал, но мог использоваться как референс по содержанию. На втором шаге другая нейросеть подбирала из базы фрагментов записанной речи такие, из которых можно было собрать фразу, достаточно близкую к сгенерированной параметрикой. Вариантов комбинаций фрагментов много, поэтому модель смотрела на два ключевых показателя. Первый — target-cost, точность соответствия найденного фрагмента гипотезе, то есть сгенерированному фрагменту. Второй показатель — join-cost, насколько два найденных соседних фрагмента соответствуют друг другу. По сути, нужно было выбрать вариант, для которого сумма target-cost и join-cost минимальна. Эти параметры можно считать разными способами — для join-cost мы использовали нейросети на базе Deep Similarity Network, а для target-cost считали расстояние до сгенерированной параметрикой гипотезы. Сумму этих параметров, как и принято в unit selection, оптимизировали динамическим программированием. Кстати, подобный подход использовался и при создании Siri 2. Схема конкатенативного синтеза У такого подхода тоже есть плюсы и минусы. Среди достоинств — более естественное звучание голоса, ведь исходный материал не синтезирован, а записан вживую. Правда, есть и обратная сторона: чем меньше данных, тем более грубо будут звучать места склейки фрагментов. Для шаблонных фраз всё более-менее хорошо, но шаг влево или вправо — и вы замечаете склейку.
В этой игре «Алиса» будет задавать вопросы, а пользователь должен принимать решения и отвечать ей. Задача — не растерять доверие избирателей и привести себя к победе. Разумеется, навык сделан таким образом, чтобы победа в выборах не досталась легкой ценой. Поэтому не исключено, что игру не раз придется начинать заново. Но так ведь интереснее? А главное, вне зависимости от победы или поражения игроков никто потом не станет обвинять во вмешательстве в демократический процесс другой страны. Покупать и слушать аудиокниги можно в умных колонках «Яндекса». Просто попросите об этом Алису «ЛитРес» стал первым, кто интегрировал аудиокниги и возможность их оплаты в умные колонки «Яндекса». Навык «Аудиокниги ЛитРес» позволяет включать купленные в сервисе произведения, а также около 10 тысяч бесплатных аудиокниг и подкастов. Насчитывается 140 тысяч аудиокниг и подкастов из крупнейшего каталога, включая новинки и бестселлеры. Чтобы совершить покупку, достаточно выбрать понравившееся произведение и сказать: «Алиса, купи эту книгу» или «Оплати ЛитРес». После этого навык запускает сценарий оплаты, а пользователь получает на смартфон уведомление для ее подтверждения.
Как взглянуть на «Алису» по-новому? 5 необычных навыков для «Яндекс.Станции»
Сделать это можно в приложении «Дом с Алисой»: Настройки → Контент → Шоу с Алисой. Афиша мероприятий и новости. Утреннее шоу Алисы теперь можно настроить на свой вкус. Для этого пользователь может сам выбрать тематику новостей и подкастов. «Яндекс» добавил возможность персональной настройки утреннего шоу голосового помощника «Алиса». Функция появилась в ассистенте в апреле этого года. «Алиса» по-прежнему умеет зачитывать по утрам актуальные новости.
8 новых фишек «Яндекс Станций» и «Яндекс ТВ Станций», которые появились в апреле
Персональное утреннее шоу уже доступно в «Яндекс. Станции», «Станции Мини» и других «умных» колонках с «Алисой».
Персонализируйте утреннее шоу Теперь пользователи сами смогут решать, каким будет их утреннее шоу. Например, выбрать, какой контент и в каком порядке они хотят слушать: подкасты на разные темы, прогноз погоды, конкретные навыки, музыкальные треки или новости из определённых источников. Афиша мероприятий и новости Анонсы интересных мероприятий будут отображаться на главном экране «Станции Дуо Макс». Чтобы узнать о предстоящем событии больше, надо нажать на кнопку «Подробнее», и «Алиса» покажет все детали во встроенном «Браузере». Радионяня для каждого в семье Теперь на «Яндекс Станции» можно включить режим радионяни и получать звуки из детской прямо на телефон.
Уникальная технология «М. Обучена на 30-летней экспертизе в технике, умеет прогнозировать тренды, поможет подобрать гаджет. Рассказываю, на что теперь способна Алиса. Караоке на «ТВ Станциях» Обожаете петь, но текст любимых песен так и не выучили? Не беда! Просто попросите Алису показать текст и он появится на экране.
Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс, выбрать пункт «Устройства», далее выбрать «Аккаунт» и перейти в «Настройки шоу Алисы». А куда нажать? Это я к тому, что не плохо бы ссылочку или инструкцию какую то в конце сообщения..
Виталий Н. А как продолжить.