Разработана модель для создания более естественной синтезированной речи

Разработана модель для создания более естественной синтезированной речи
06:24, 29 Май.

Последние технологические достижения позволяют разрабатывать вычислительные инструменты, которые могут значительно улучшить качество жизни людей с ограниченными возможностями или сенсорными нарушениями. К ним относятся так называемые модели преобразования электромиографии в речь (ETS), предназначенные для преобразования электрических сигналов, вырабатываемых скелетными мышцами, в речь.

Исследователи из Бременского университета и SUPSI недавно представили Diff-ETS, модель преобразования ETS, которая может производить более естественную синтезированную речь .

Эта модель, представленная в статье , опубликованной на сервере препринтов arXiv , может быть использована для разработки новых систем, которые позволят людям, неспособным говорить, например, пациентам, перенесшим ларингэктомию (операцию по удалению части голосового аппарата человека), общаться с другими.

Большинство ранее представленных методов преобразования ETS имеют два ключевых компонента: кодер EMG и вокодер.

Кодер электромиографии (ЭМГ) может преобразовывать сигналы ЭМГ в акустические речевые характеристики, в то время как вокодер использует эти речевые характеристики для синтеза речевых сигналов.

«Из-за недостаточного количества доступных данных и зашумленных сигналов синтезированная речь часто демонстрирует низкий уровень естественности», — пишут в своей статье Чжао Рен, Кевин Шек и их коллеги.

«В этой работе мы предлагаем Diff-ETS, модель ETS, которая использует вероятностную модель диффузии на основе оценок для повышения естественности синтезированной речи. Модель диффузии применяется для улучшения качества акустических характеристик, прогнозируемых кодировщиком ЭМГ.

» В отличие от многих других моделей преобразования ETS, разработанных в прошлом и состоящих из кодера и вокодера, модель исследователей состоит из трех компонентов, а именно кодера ЭМГ, диффузионно-вероятностной модели и вокодера.

Таким образом, диффузионно-вероятностная модель, второй из этих компонентов, является новым дополнением, которое может привести к более естественной синтезированной речи.

Рен, Шек и их коллеги обучили кодер ЭМГ прогнозировать так называемую логарифмическую спектрограмму Мела (т. е. визуальное представление аудиосигналов) и целевые фонемы на основе сигналов ЭМГ. С другой стороны, диффузионно-вероятностная модель была обучена для улучшения log Mel-спектрограмм, в то время как предварительно обученный вокодер может переводить эту спектрограмму в синтезированную речь.

Исследователи оценили модель Diff-ETS в серии тестов, сравнив ее с базовой методикой ETS.

Результаты оказались весьма многообещающими, поскольку синтезируемая им речь была более естественной и похожей на человеческую, чем та, которую воспроизводил базовый метод.

«В наших экспериментах мы оценивали точную настройку модели диффузии на основе прогнозов предварительно обученного кодировщика ЭМГ и комплексное обучение обеих моделей», — написали Рен, Шек и их коллеги в своей статье.

«Мы сравнили Diff-ETS с базовой моделью ETS без диффузии, используя объективные показатели и тест на прослушивание. Результаты показали, что предложенный Diff-ETS значительно улучшил естественность речи по сравнению с базовым уровнем».

В будущем модель преобразования ETS, разработанная этой командой исследователей, может быть использована для разработки более совершенных технологий искусственной генерации слышимой речи. Эти системы могут позволить людям, которые не могут говорить, выражать свои мысли вслух, что облегчит их взаимодействие с другими.

«В будущих усилиях можно будет сократить количество параметров модели, используя различные методы, например, сжатие модели и дистилляцию знаний, тем самым генерируя образцы речи в режиме реального времени », — пишут исследователи.

«Более того, модель диффузии можно обучать вместе с кодером и вокодером для дальнейшего улучшения качества речи».

Рубрика: Наука и Технологии. Читать весь текст на android-robot.com.

 

Названы пять удивительных преимуществ оргазма для здоровья Физическая близость — важная часть отношений. При этом известно, что регулярные оргазмы дают множество преимуществ для здоровья. Улучшение настроения...

Французская армия и насколько она опасна: чего от неё ждать совместно с армией Украины Найдутся ли у Франции войска, чтобы всерьёз грозить России? Какова реальная военная мощь и какие сильные стороны есть у французской армии? Армия Фран...

Использование компьютерных программ для эффективного ведения социальных сетей В современном мире, где социальные сети стали неотделимой частью нашей жизни и ключевым инструментом для бизнеса, грамотное управление ими требует пр...

Перспективы развития кибербезопасности в российском телекоммуникационном секторе Современный мир все больше становится цифровым, это происходит день ото дня, и телекоммуникационный сектор играет важную роль в этом процессе. Однако...

В ЛДПР предложили снять плату за проезд по трассе «Дон» для жителей Краснодара Лидер ЛДПР Леонид Слуцкий инициировал разрешение бесплатного проезда по трассе «Дон» для жителей Краснодара. Они поделились проблемой затратной местн...

Анонс Windows 11 Insider Preview Build 26090 (каналы Dev и Canary) Добрый вечер, друзья! Microsoft выпустила новую предварительную сборку Windows 11 под номером 26090 для участников программы Windows Insider, использ...

Состоялся релиз стабильной версии Microsoft Edge 123 Несколько дней назад Microsoft начала распространять стабильную версию Microsoft Edge 123 (123.0.2420.53), которая приносит с собой несколько новшест...

Тест-драйв: Машем году, Драйву и Мазде CX-30 из Subaru XV и Peugeot 2008 Обходимся без шипов. «Пыж» обут в Continental Viking Contact 7 комфортной размерности 215/60 R17. Для остальных выбрана Hakkapeliitta R3 SUV: 215/55 ...

Кроссовер Dongfeng Haoji опробует новую платформу Среднеразмерный паркетник, сопоставимый со «вторым» Дунфэном 580, дебютирует в марте 2022 года и встанет на ступеньку выше Дунфэна AX7. Обе подвески ...

DOOGEE представила новые флагманы Технологические новинки из Поднебесной. Китайские разработчики представили на российском рынке потрясающие смартфоны: стильную премиум-модель 4 в одн...

Хитрость, которую должен знать каждый пользователь Snapchat Если вы пользователь Snapchat, который когда-либо имел несчастье использовать приложение на телефоне Android, то вы наверняка уже в курсе, как хорошо...

Один на льдине Rucriminal.info продолжает рассказывать о распиле бюджета на федеральных трассах страны. ФКУ «Управление федеральных автодорог «Северо-За...

«Карусель бабла в природе» Зрители концерта Пикника, которые попали под террористическую атаку, считают ложными заявления о том, будто все системы «Крокуса», предна...

Фёдоров Александр Александрович: Биография, образование, наука Фёдоров Александр Александрович родился 08.10.1970 в городе Семёнове Нижегородской области. Его родители, журналист и химик, привили ему любовь к зна...

Радиальный вентилятор улитка Радиальный вентилятор-улитка – это инновационное устройство, разработанное с целью решения проблем вентиляции и обеспечения оптимального микроклимата...

На Брянщине продолжается голосование за благоустройство территорий Жители Брянской области активно принимают участие в голосовании по отбору общественных пространств, которые будут благоустроены в 2025 году. Голосова...

Крупнейшее плодохранилище будет запущено в конце апреля Первая очередь высокотехнологичного плодохранилища мощностью 18 тысяч тонн готовится к запуску компанией "Брянский сад", входящей в группу компаний "...

В Курске Детский парк находится в неприглядном состоянии Детский парк в центре Курска давно стал излюбленным местом горожан для прогулок и занятий спортом. Если окунуться в прошлое, то много лет он был в уж...

ИИ предсказывает вкус и качество пива Бельгийские ученые разработали модели искусственного интеллекта, которые могут предсказать, как потребители оценят то или иное пиво и какие ароматиче...

Вьетнамский автопроизводитель VinFast начнет продавать электромобили в Таиланде Вьетнамский автопроизводитель VinFast объявил во вторник, что планирует продавать свои электромобили в Таиланде, и заявил, что связался с автодилерам...

Жительница Курской области потеряла работу из-за смены руководства Проработав много лет добросовестным трудом, жительницу Солнцевского района незаконно уволили с работы. Данный факт был доказан и прокуратурой, однако...

Канделаки возглавила ТНТ вместо автора «Дома-2»: станет ли канал вторым Матч-ТВ Поклонники задумались, какие изменения ждут канал. Не столкнётся ли он с проблемами Матч ТВ, которым руководила Канделаки. Фото: pbs.twimg.com Тина К...

После теракта в "Крокусе" Игорь Руденя поручил сформировать в Тверской области неприятие идеологии терроризма 28 марта губернатор Игорь Руденя провел расширенное заседание антитеррористической комиссии в Тверской области. Участие в рассмотрении вопросов приня...

В Тверской области до 1 октября продлен запрет на использование любых беспилотников В Тверской области до 1 октября 2024 года продлен запрет на использование беспилотных воздушных судов. Соответствующее решение принято 28 марта на за...

Калибры и другие инструменты от компании "Микрон" Калибры - это инструменты, предназначенные для контроля размеров и формы деталей, а также для определения наличия и характера дефектов на поверхностя...

Шины для авто Altra Auto Тип установленных шин напрямую влияет на управляемость вашего авто и его способность к безопасному и эффективному передвижению в любое время года. Гр...

Брянцам рассказали о симптомах и лечении предиабета Предиабет – это состояние, которое предшествует развитию сахарного диабета второго типа, включающее в себя нарушенную гликемию натощак и нарушенную т...

Сериал «Стас» 2021 на «ТНТ»: Описание серий, актёры и роли, дата выхода «Бытовуха» русского стендапера — основная идея сериала «Стас». Комик Старовойтов, пропавший с экранов, исполнил главную роль в ситкоме. Стас Старовой...

Украина и Грузия — на Евро. Покажут ли нам эти матчи по ТВ? В число участников чемпионата Европы по футболу пробились две команды из стран постсоветского пространства. Во вторник вечером окончательно определил...

Что делать с акциями Совкомбанка в перспективе года: прогноз аналитика Совкомбанк продемонстрировал сильные итоги 2023 года в отчете о финансовых показателях, однако потенциал роста акций ограничен, считает аналитик «Тин...

Аналитики назвали пять шагов для выбора прибыльных дивидендных акций Инвесторы активно интересуются акциями, предполагающими регулярную выплату дивидендов. Аналитики «Альфа-Инвестиций» дали пять советов, как выбрать вы...

Алексей Фомин: скрипка и фортепиано, известны своей способностью передавать глубокие эмоции Сегодня, в эпоху цифровых технологий и современных инструментов, композиторы обретают возможность проникнуть глубже в суть музыки и передать свои чув...

Спастический запор: Что нужно знать об этом? Спастический запор – это нарушение кишечной активности, характеризующееся чрезмерным напряжением мышц кишечника, что приводит к затруднению прохожден...

Как выбрать электрический массажер Электрический массажер - это устройство, которое использует электричество для создания вибраций или движений, которые массируют тело. Они могут быть ...

Общество: «Чего не сгубить, тому нету конца». Как «Пикник» играл в память о жертвах теракта В Санкт-Петербурге прошел концерт легендарной группы «Пикник». Трагедия в «Крокус Сити Холле» превратила выступление Эдмунда Шклярского и его коллег ...

Эксперты: Трагедия в «Крокусе» и атаки на Белгород сплотили всю Россию Организаторы теракта в «Крокусе» хотели посеять панику в российском обществе. Для этого же Запад и Украина начали информационные атаки сразу после ЧП...

Шальная стая: бандитский «интернационал» – против России Террористы с Северного Кавказа объединяются под эгидой НАТО То, что определённая часть выходцев с Северного Кавказа обосновалась в странах Европы, пр...

Александр Назаров и другие члены набсовета НОЦ «Инженерия будущего» выбрали новую рабочую формулу Замглавы корпорации «Ростех» Александр Назаров и другие члены наблюдательного совета НОЦ «Инженерия будущего» приняли новую рабочую формулу. В связи ...

Подвели итоги конкурса «Всемирный автомобиль года» — вы удивитесь, кто победил Автомобиль Kia EV9 удостоился наград за звания «Мировой электромобиль года» и «Всемирный автомобиль года» по итогам Международного конкурса World Car...

Выгодный канал ввоза иномарок перекроют с 1 апреля: на сколько подорожают машины С 1 апреля 2024 года начнут действовать новые правила расчета утилизационного сбора для машин, ввезенных в РФ через страны Евразийского экономическог...

Как заказать Nike по доступной цене Nike – один из самых известных мировых брендов спортивной одежды и обуви. Эта американская компания была основана в 1964 году профессиональным бегуно...

Резиновое покрытие для ледовых арен и открытых катков Небольшие ледовые арены могут обустраиваться не только в спортивных комплексах, но и на территории торгово-развлекательных центров. Здесь важно подоб...

В России может появиться наказание за «скручивание пробега» Покупая автомобиль с пробегом, новоиспеченные автовладельцы часто оказываются обманутыми, а машина полна неприятных сюрпризов. Одним из основных крит...

Наблюдая солнечное затмение, американцы рискуют ослепнуть Солнечные затмения всегда привлекали людей возможностью увидеть то, что случится снова только через годы или даже десятилетия. С затмениями Солнца св...

Анонс Windows 11 Insider Preview Build 26090 (каналы Dev и Canary) Добрый вечер, друзья! Microsoft выпустила новую предварительную сборку Windows 11 под номером 26090 для участников программы Windows Insider, использ...

Состоялся релиз стабильной версии Microsoft Edge 123 Несколько дней назад Microsoft начала распространять стабильную версию Microsoft Edge 123 (123.0.2420.53), которая приносит с собой несколько новшест...

ИИ предсказывает вкус и качество пива Бельгийские ученые разработали модели искусственного интеллекта, которые могут предсказать, как потребители оценят то или иное пиво и какие ароматиче...

Вьетнамский автопроизводитель VinFast начнет продавать электромобили в Таиланде Вьетнамский автопроизводитель VinFast объявил во вторник, что планирует продавать свои электромобили в Таиланде, и заявил, что связался с автодилерам...

Видео курс «Волны Вульфа» — Бесплатно Выкладываю Видео курс «Волны Вульфа» абсолютно Бесплатно! Курс уже очень давно создан, его больше не продаем так же давно, паттерн Волны Ву...

Бесплатный курс по модели Po3 из 5 видео уроков Сегодня представляю вам Бесплатный курс по модели Po3 из 5 видео уроков. Её еще называют: Power of Three / Power of 3 / модель AMD / pattern AMD. Уже...

Представлены Honor 200 и 200 Pro с батареями на 5200 мАч и зарядкой на 100 Вт Компания Honor анонсировала два новых смартфона Honor 200 и Honor 200 Pro. Новинки обладают одинаковым дизайном с овальным чёрным блоком, тройной осн...

"Он делал разные вещи". Гимнастка Маргарита Мамун рассказала, как в детстве её домогался тренер Олимпийская чемпионка по художественной гимнастике Маргарита Мамун рассказала, что в детстве её домогался тренер. Признание она сделала в новом выпус...

Гуляет с семьёй, но в свет не выйдет до конца года: стали известны новые подробности о состоянии здоровья Кейт Миддлтон Стали известны новые подробности о состоянии здоровья Кейт Миддлтон, которая сейчас лечится от рака. Как сообщает таблоид Daily Mail, в последнее вре...

DOOGEE представила новые флагманы Технологические новинки из Поднебесной. Китайские разработчики представили на российском рынке потрясающие смартфоны: стильную премиум-модель 4 в одн...

Хитрость, которую должен знать каждый пользователь Snapchat Если вы пользователь Snapchat, который когда-либо имел несчастье использовать приложение на телефоне Android, то вы наверняка уже в курсе, как хорошо...

Узнайте, как получить займ на карту, доступный каждому без исключения В современном мире финансовая гибкость становится не просто желаемой, а крайне необходимой характеристикой. Мгновенные расчеты, оперативное получение...

Экономические преимущества использования зеркал с подсветкой в ванной комнате В современном мире основное внимание уделяется не только эстетике, но и эффективности использования энергоресурсов в быту. Зеркало в ванную с подсвет...

Говорят, в Hamster Kombat можно заработать денег и вывести их. Здесь вся правда про бот для майнинга крипты Рассказываем, что за игра Hamster Kombat В последнее время особой популярностью пользуются игры-кликеры, главная цель которых — нажимать на кно...

Топ-10 товаров с АлиЭкспресс, которые можно временно купить дешевле, чем обычно Уже никто и не вспомнит, сколько лет AliExpress радует нас выгодными ценами и полезными товарами. За это время он претерпел немало позитивных изменен...

Человеческий фактор агрохолдинга «Мираторг» На любом, даже самом современном и высокотехнологичном предприятии важен человеческий фактор. От мастерства, профессионализма зависит многое, но влия...

Молодые агрономы «Мираторга» предпочитают работу на селе Работа — пробки — дом — работа… Городской «день сурка» всё меньше привлекает молодежь. Если раньше студенты и начинающие спец...

Сергей Полунин - российский артист балета Сергей Полунин известен всему миру как гениальный танцовщик с бунтарским характером. У артиста яркая интересная жизнь и непростой творческий путь от ...

Джеймс Майкл Тайлер: судьба Гантера из сериала «Друзья» Джеймс Майкл Тайлер – американский телевизионный актёр. Он начинал свою карьеру в Голливуде с низких должностей помощника монтажера и ассистента, одн...

Ledger начала поставки своего высокотехнологичного криптокошелька Stax Французский стартап Ledger, известный в основном своими защищенными аппаратными криптокошельками, начал поставки новых кошельков спустя 18 месяцев по...

Яндекс представил YandexGPT Lite третьего поколения Яндекс запустил YandexGPT 3 Lite — облегчённую версию собственной генеративной нейросети третьего поколения. Она будет доступна клиентам облачной пла...

Давление на кожу. Ученые: у препаратов от гипертонии найдена новая побочка У препаратов для снижения давления нашли новое побочное действие. В большом исследовании было показано, что они вызывают неприятное кожное заболевани...

«Многонациональная Победа». Победители проекта получили награды В конкурсе «народных рассказов» о героях Великой Отечественной войны приняли участие 10 тыс. человек из России и зарубежных стран.Авторам лучших расс...

Аналитик спрогнозировал, сколько еще продлится усиление рубля Усиление рубля, которое в мае наблюдается на рынке, является временным явлением, полагает аналитик ФГ «Финам» Александр Потавин. Он отмечает, что, по...

«Ипотечный кризис». Оценены последствия обхода требований к первому взносу Ипотека с первоначальным взносом менее 20% фактически осталась в прошлом. Ее доля на первичном рынке по итогам I квартала 2024 года, по данным ЦБ РФ,...

Легендарной жительнице Новозыбкова Екатерине Быковой исполнилось 100 лет Сегодня, 28 мая, поздравления принимает Екатерина Ивановна Быкова. Участница Великой Отечественной войны отмечает вековой юбилей. Жизнь Екатерины Ива...

В Брянске прошло закрытие фестиваля «Славянские театральные встречи» В Брянске состоялось закрытие XXV Международного фестиваля "Славянские театральные встречи". Значимое событие объединяет коллективы славянских госуда...

Intel UHD Graphics или Intel Iris Xe Graphics: что лучше Хорошая дискретная видеокарта позволит играть практически в любые современные игры, работать с «тяжелой» графикой, рендерить видео и почувствовать се...

Двухтактные и четырехтактные мотокосы — в чем между ними разница и какой триммер лучше? В цепных пилах, мотоблоках и триммерах используются разные агрегаты. Это могут быть как электрические, работающие от сети, так и аккумуляторные двига...

xAI Илона Маска получил новое финансирование в размере 6 миллиардов долларов Стартап xAI миллиардера Илона Маска заявил, что привлек 6 миллиардов долларов от инвесторов на все более переполненном рынке искусственного интеллект...

Разработана модель для создания более естественной синтезированной речи Последние технологические достижения позволяют разрабатывать вычислительные инструменты, которые могут значительно улучшить качество жизни людей с ог...

Насколько корректно бесплатное скачивание музыки в Сети? Давайте в этой статье поговорим о том, насколько корректно скачивать недавно вышедшую в свет музыку в сети Интернет, а также о том, насколько это мож...

Основательница магазина корейской косметики рассказала о произволе в Инстаграм Основательница магазина корейской косметики LaskshmiShop рассказала о произволе искуственного интеллекта в ее Инстаграмм аккаунте, на который подписа...

Цены на нефть растут на фоне падения запасов нефти в долларах и США Нефть выросла в среду на фоне ослабления доллара, сокращения запасов сырой нефти в США и того, что Великобритания одобрила еще одну вакцину от корона...

Россельхозбанк и Национальный экоресурс: о дикоросах Брянщины В Брянске состоялась встреча руководства регионального филиала Россельхозбанка с официальными представителями Союза переработчиков дикоросов «Национа...

В Елецком районе исследовали уникальные водоемы Экологический проект «АиФ» помогает сохранить главный источник жизни на Земле. Брянские журналисты приняли участие в пресс-туре программы «Уникальные...

Растительные продукты оказались полезны при раке простаты Соблюдение растительной диеты (или диеты, состоящей в основном из фруктов, овощей, бобовых и цельнозерновых продуктов) связано со снижением риска как...

Часы в стиле Apple Watch, но с хорошей автономностью Первые прямоугольные (а не круглые, как обычно) умные часы HONOR, которые... не укладываются ни в одну категорию. Это уже не фитнес-браслет, но и не ...

Георешетка для газонов и её применение на экопарковках

Современные экопарковки – это парковочные зоны, созданные с учётом экологических требований и минимального воздействия на окружающую среду. Одним ...