IT之家3月16日音讯，当天，阿里通义实验室文告讦布并开源首个扶持影视级多场景配音的多模态大模子Fun-CineForge。此外，还配套洞开了高质料数据集的构建体式。官方称，通过“数据+模子”的一体化瞎想，Fun-CineForge正尝试处分影视级AI配音永久濒临的关节问题。

IT之家附官方先容如下：

在果然影视制作场景中，一段高质料的配音，需要同期通过四大严苛锤真金不怕火：

口型同步：合成的语音需要和画面中东说念主物唇部诱骗高度同步；

热沈抒发：依赖扮装面部形象和领导刻画，杀青情怀和口吻的拟东说念主化呈现妥协脱物化；

音色一致：在多扮安设音的复杂场景下要保执每个扮装音色的一样度和一致性；

期间对皆：即便画面中言语东说念主被荫庇或不存在，语音也必须在正确的期间区间内合成；

相关词，现存AI配音体式普遍濒临两大瓶颈：

01、高质料多模态数据集稀缺。

高质料的配音数据集依赖多种模态的信息，现存的配音数据集数据量过小、标注类型有限，难以欢叫大模子的灵验磨砺；高度依赖东说念主工标注资本较高，难以大限度出产；衰退对话和多东说念主场景的长视频数据使大模子难以应酬复杂配音场景。

02、模子才略不及。

传统配音模子在体式上，仅依赖视频画面中明晰可见的唇部区域来学习音画同步。但果然影视配音制作中，存在大批复杂场景，如多东说念主对话、时常镜头切换、东说念主脸荫庇、面部迂缓，现存期间难以在言语东说念主面部缺失的场景杀青音画同步。

为了处分上述问题，通义实验室建议了Fun-CineForge。本次开源内容中枢包含两部分，旨在买通影视配音的“数据-模子”闭环：

1⃣模子侧：面向复杂影视场景的多模态配音大模子

2⃣数据侧：大限度多模态配音数据集构建经过（CineDub）

在数据基础之上，Fun-CineForge基于CosyVoice3普遍的语音合成底层才略，构建了一个面向复杂影视场景的配音大模子，完成视频+文本→语音的任务。

输入包括：

无声视频片断

配音文本

扮装属性和情怀萍踪

期间信息

参评语音

模子即不错参评语音的音色来合成与期间和视频信息高度对皆的语音。

Fun-CineForge最初构建了一套自动化的数据集出产经过，不错将原始影视素材诊疗为结构化多模态数据。

该经过包括东说念主声差异、文本转录、长视频分段、音视频讨好言语东说念主差异等，其中，基于通用大模子想维链的双向纠正机制，大幅缩短了转录文本和言语东说念主差异收场的空幻率。

中翰墨错率从4.53%降至0.94%；

英文词错率从9.35%降至2.12%；

言语东说念主差异空幻率从8.38%降至1.20%。

数据笼罩独白、旁白、对话、多言语东说念主等多种典型场景。每条数据都包含转录台词、帧级东说念主脸唇部数据、扮装属特性怀萍踪、毫秒级期间戳及干净东说念主声轨说念。

这些相互补充、相反相成的多模态信息为磨砺大模子的专科配音才略提供了坚实基础。

数据集统计

瞩目：从350多部的中英文影视剧中出产的CineDub数据集在场景类别，年事分散，性格分散，音色热词的统计情况。

Fun-CineForge最遑急的期间改进，是在配音模子中初度引入“期间模态”。传统TTS模子宽泛只缓和文本内容、声息特征或视觉信息，但影视配音中还有一个关节维度：期间。

举例：

什么时候运行言语

什么时候收尾言语

哪个扮装在该期间区域内言语

这些信息省略告成匡助模子真切清楚“在什么期间段内，哪个扮装在说什么。”，在视觉模态“看不到”言语东说念主的时候，6686体育官方网站期间模态动作一种强监督标的，使语音出当今该出现的期间区域内。

这少许使模子具备了在复杂场景下的配音才略。

为了杀青上述才略，Fun-CineForge模子同期运用四类信息，它们相互补充、相反相成。

视觉模态：学习唇部诱骗，清楚面部情态；

文本模态：提供台词内容，刻画扮装属性和情怀口吻；

音频模态：动作模子臆测标的；

期间模态：物化语音出现的期间，在对话场景领导言语东说念主身份。

实验收场表现，在多个关节目标上，Fun-CineForge配音模子都优于现存开源配音模子，包括：

语音当然度

字错率

情怀抒发才略

音色一样度

唇形同步

期间对皆才略

领导治服才略

其中，Fun-CineForge配音模子以独白和旁白两种单东说念主配音场景成果最好，初度扶持双东说念主对话与多东说念主对话的场景，并省略杀青准确的期间对皆、音画同步与音色一致。

咱们在自建的CineDub数据集上对Fun-CineForge进行了全面评估，笼罩独白、旁白、对话、多东说念主场景等多种典型影视配音场景。收场表现，单东说念主场景成果最优，独白和旁白的中翰墨错率仅1.49%和1.90%，音画同步精确。

在独白场景下，咱们将Fun-CineForge与DeepDubber-V1和InstructDubber进行了对比。收场表现，Fun-CineForge在词错率、唇部同步、期间对皆、音色一样度等各名堂的上均彰着优于基线模子。

注：CER/WER为中翰墨/英文词错率（↓越低越准）；SPK-SIM为音色一样度（↑越高越像）；SPK-TL为期间对皆误差（↓越低越精确）；LSE-C/D为唇部同步度（C↑越高/D↓越低越好）。

面前，Fun-CineForge如故开源，确立者可立即体验多样复杂场景下的中英文影视配音才略（包括热沈化抒发、镜头切换、面部荫庇等景象）。

Fun-CineForge名堂主页：https://funcineforge.github.io/

(网站提供独白、旁白、对话、多言语东说念主、音色克隆、领导物化等丰富示例，还能体验音色克隆和领导物化等进阶功能。样例涵盖了在实际影视场景中存在的，热沈化抒发、镜头时常切换、言语东说念主时常切换、言语东说念主面部荫庇或镜头瞄准其他扮装、画面昏昧、画面多东说念主共存等多样复杂景象。）

期间论文Fun-CineForge:AUnifiedDatasetToolkitandModelforZero-ShotMovieDubbinginDiverseCinematicScenes

数据集样例：网站开源了剔除原视频的CineDub数据集样例，包括CineDub-CN和CineDub-EN中英文双语种，以供参考。

代码与模子：三个平台同步开源，迎接体验～

现阶段AI语音期间如故在客服、助手等场景平常应用，但在专科的动漫或影视内容制作和后期加工中，仍然存在更高条款。关于越长的视频，需要给定的期间戳区间和参考扮装音频越多，音画同步性能和音色克隆准确性会着落，多东说念主对话场景鲁棒性缩短。

Fun-CineForge为音频大模子期间在专科配音制作界限提供了新的期间有瞎想，现时扶持30秒以内的视频片断推理。

改日6686体育(6686Sports)，跟着多模态大模子才略按捺进步，咱们也但愿AI能在影视、动画、游戏等内容出产界限阐明更大的作用。

• 阿里
• 开源
• 6686体育(6686Sports)
• 同一
• 实验室