美国时间6月16日，Meta正式发布语音生成模型Voicebox。据官网介绍，通过非自回归“流匹配”（Flow Matching）技术，研究人员无需手动标记不同数据，即可利用长达5万小时的语言和有声书文本训练Voicebox。Voicebox生成语音的速度，可到达目前最先进的自回归模型的约20倍。

不同于过去的语音AI模型一般只有单一用途，Voicebox基于同一通用模型，即可实现基于文本的语音生成、语音编辑和降噪、跨语言转换、多风格语言采样等功能。

在英语文本到文字的转换过程中，Voicebox的平均单词错误率与音频相似度(相较于真实语音）分别为1.9%和0.681，而目前最先进的英语模型Vall-E，则分别为5.9%和0.580。

此外，Voicebox还支持合成包括英语、法语、西班牙语、德语、波兰语和葡萄牙语等六种语言的语音。在跨语言转换的表现上，Voicebox同样优于该领域领先的YourTTS，平均单词错误率从10.9%降低到了5.2%，音频相似度则从0.335提高到了0.481。

在训练过程中，Voicebox会得到一个音频样本和相应的文本，然后部分音频将被屏蔽，该模型需要根据前后音频和给定的文本，生成被屏蔽的音频片段。

经过这种训练的模型可以直接或在少量微调后，适用于许多任务。以降噪和语音错误修改为例，Voicebox在实现这两项看似不同的功能时，均是首先屏蔽出现噪音或错误的部分，然后基于前后已有的音频和原文本或修改后的文本，重新生成该部分语音。

这也是Meta研发Voicebox的主要目标。在一篇披露Voicebox技术细节的论文中，Meta研究人员写道：“研究目标是建立一个单一模型，通过上下文学习来执行多种基于文本的语音生成任务。”

Voicebox并非是为特定应用程序训练的生成模型，因此还可以执行许多未经过训练的其他任务。

输入长度仅为两秒的音频样本，Voicebox就可以获得相应的音频样式。而后，使用者只需输入文本就可以生成语音。Meta表示，这项功能可为语言功能障碍人士提供语音，或为NPC和虚拟助手定制声音。

同时，Voicebox跨语言转换的功能也可以帮助不同语言的人们进行顺畅的交流。基于六种语言的语音样本和给出的文本，使用者在Voicebox的帮助下便可以轻松生成目标语言的语音。

Voicebox还可以将其生成的语音用于模型训练。Meta的研究结果表明，与真实语音训练出的模型相比，使用Voicebox生成的语音训练出的语音识别模型表现几乎一样好。

尽管Meta研究团队已经发布了披露技术细节的相关论文，但Meta并没有公开Voicebox的模型或代码，认为“需要在开放和责任之间找到适当的平衡”。

Meta在社交平台上公开表示：“与其他强大的人工智能创新技术一样，我们认为这项技术也可能会被滥用，造成意外伤害。”

图 | Unsplash

本文来自“36氪”，作者： 周愚，原文标题：“Meta发布生成式AI语音模型Voicebox，精通六种语言，支持多种语音功能 | 最前线”，36氪出海经授权转载发布。

7月「跨境·资本」私享会 | 2023年过半，跨境行业现状与预期

对众多中国出海企业来说，2023年无疑是寄托无数希望的重启之年。转眼间，2023年即将过半，是时候回顾一番上半年的全球市场了：各个行业发展得怎么样？出海企业应该学习哪些经验、吸取什么教训？同时，在2023下半年，我们该怎样面对新的市场和行业，跨境这件事又对企业提出了哪些新的要求？

7月27日，36氪出海联合 TikTok for Business，在上海举办「跨境·资本」私享会，邀请出海投资人与我们一同复盘2023上半年。欢迎扫码填写表单，报名参加本次活动。

加入36氪出海学习交流群

目前，36氪出海学习交流群已经吸引超过12000位来自国内外初创企业、行业巨头、投资机构等出海人加入。在出海社群里，我们面向群成员挑选整理每日全球跨境资讯，帮助出海人把握最新动态；定期组织出海交流活动，链接出海生态圈，寻找潜在合作伙伴！欢迎添加36氪出海小助手微信（ID：wow36krchuhai-xzs）申请入群，一同出海！