LINUX.ORG.RU

Вышел xVA-Synth

 ,


2

2

xVA-Synth - это языковой движок который позволяет озвучивать текст голосами из игр. На данный момент поддерживаются игры Oblivion, Morrowind, Skyrim, Fallout 3, Fallout 4, Fallout New Vegas. Доступны голоса Сераны, Джоффри, Джиуба и другие. Наилучший результат получается при длине озвученного текста не более 5 секунд. Написан на электроне.

Тут можно скачать голос Хаскила и другие доступные голоса для Обливиона. Как это выглядит

>>> исходники

Не совсем понятно, что значит «поддерживаются игры».

Имеется в виду, что в синтезаторе используются какие-то либы, в которых вызываются функции игры, которые генерируют звуковой поток? И для того чтобы это все работало, нужны и сами игровые движки, и игровые ресурсы с описанием/оцифровкой голосов?

Xintrea ★★★★★ ()
Ответ на: комментарий от Xintrea

Предобученная модель FastPitch для переноса спечифических фич из PCM сэмплов голоса на фонемы, генерируемые TTS движком, грузится для некоторой игры – вот что имеется в виду, насколько я понял.

mazdai ★★ ()
Последнее исправление: mazdai (всего исправлений: 2)

Выглядит круто, но на русском бы. Бусурманский не разумею, особенно если много говорят. Портируйте Алёну и какого-нибудь кадета.

anonymous ()
Ответ на: комментарий от hobbit

Не уверен, что это хорошая идея. Все это пока что очень сложно в использовании для новичков. Все надо собирать из исходников, включая плагины (исключение Arch Linux). Код avs скриптов линуксоидам не знаком (разве что бывшим виндузятникам). Да и продвинутые пользователи, съевшие собаку на всяких тонкостях, пока не видят смысла в этой проге на онтопике. Слишком мало еще портировано, по сравнению с ffmpeg/vapoursynth.

anonymous ()
Ответ на: комментарий от anonymous

А потом всегда интересовало как быть с историей изменений в таких случаях (когда о неизвестной ранее проге рассказываешь). Неужели всю указывать с начала проекта? И может только значимое. Надо рассказать о проге, а тут даже в английской википедии еще устаревшая информация.

anonymous ()
Ответ на: комментарий от anonymous

Пару абзацев о том, что это вообще такое, и с чем его едят, написать, конечно, надо. Всю историю писать излишне, но можно указать, с какого года программа развивается и с какой версии перенесена на линукс (это заодно снимет лишние вопросы, а то наверняка найдётся человек, у которого в голове когда-то отложилось, что это виндософт).

hobbit ★★★★★ ()
Ответ на: комментарий от anonymous

На каком языке?!

На английском.

CLI-интерфейс там есть?

Нет.

Не совсем понятно, что значит «поддерживаются игры».

Нейросеть обучалась на голосах из этих игр. Теперь можно на основе этих голосов озвучить текст и засунуть в эти игры грубо говоря.

нужны и сами игровые движки, и игровые ресурсы с описанием/оцифровкой голосов?

Нет, этим автор занимается. Всё что нужно это скачать сам движок и результат обучения, голос грубо говоря. И ещё нужен доступ к интернету, потому что программа обращается к серверу, я не понял зачем, но код есть, можно посмотреть что он делает.

misteralter ()
Последнее исправление: misteralter (всего исправлений: 2)
Ответ на: комментарий от anonymous

гипертекст что ли генерирует?

Нет. В морровинде тоже есть озвучка. Там персонажи могут прокоментировать тебя и это озвучено. И боевые выкрики тоже озвучены. И всё сделано на основе именно этой озвучки.

misteralter ()
Ответ на: комментарий от anonymous_incognito

Не знаю точно. Ну текстуры, которые были апскейнуты нейросетью они не забанили. Ну тут то же самое грубо говоря только со звуком, так что в теории не должны. Поживём - увидим.

misteralter ()
Последнее исправление: misteralter (всего исправлений: 1)
Ответ на: комментарий от eternal_sorrow

Голос Кейт есть в списке доступных голосов. Открой страницу xVA-Synth для Fallout 4 на nexusmods.com. Там он называется F4VA Synth. Советую скачать и протестировать, там уже видно будет насколько это соответствует оригиналу.

misteralter ()
Последнее исправление: misteralter (всего исправлений: 1)
Ответ на: комментарий от misteralter

В видосе этот голос присутствует. Но я не про голос а про акцент. По той короткой фразе, которую поместили в видос, не понять, воспроизвели они акцент или нет. Похоже что нет. Качать приложение лень. Может завтра.

eternal_sorrow ★★★★★ ()
Ответ на: комментарий от foozzi

Вообще в теории можно сделать голос и для русского языка и использовать в xVA-Synth , но обучать модель придётся самому. Автор это делать не будет, у него другие приоритеты. Примерно будет выглядеть так: Нужно сделать датасет для каждого звукового файла с таймингами текста используя Tacotron2 и потом скормить это FastPitch и уже оттуда в xVASynth

misteralter ()
Последнее исправление: misteralter (всего исправлений: 1)