声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。
欢迎关注微信公众号:低调奋进
STYLER: Style Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
本文是韩国科学技术院数据工程与分析实验室在2021.03.17号更新的文章,主要在非自回归合成系统上添加可控的style factor模块,以及对noise的去除模块,具体的文章链接
https://arxiv.org/pdf/2103.09474.pdf
1 背景
通常的情感TTS从语音中抽取style factors,例如global style token或者隐变量。本文提到现有的方法不能很好的从音频中分离出style factors,因此本文使用SpeechSplit来进行style factors的分离,诸如:duration, pitch,timbre等等。从而本文提出了STYLER,该系统能够更加快速快速和鲁棒的进行情感语音合成。
2 详细设计
本文STYLER的系统架构如图1所示,其基础架构为FastSpeech2,其style factors的encoder为SpeechSplit。本文style factors主要包含:text, duration, pitch, speaker, enery 和 noise。比较有意思的是noise的residual decoding,当decoder接入noise信息zn,则为带noise的语音。另外为了其它factors与noise进行解耦,则每个encoder需要添加DAT模块。
3 实验
table1展示了本系统STYLER和其它参考系统对比,其中-P代表文本和原始语言内容一致,-NP则代表本和原始语言内容不一致。由此可知STYLE的MOS在自然度都好于mellotron。另外在unseen的数据好于竞品。table2展示了本文的style迁移好于fastspeech和mellotron。图2展示本文noise模块的作用。
4 总结
本文为了解决现有的情感TTS不能很好的从音频中分离出style factors,因此使用SpeechSplit来进行style factors的分离,并提出了更加鲁棒和快速的系统STYLER。