MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
温馨提示：建议N卡，显存12G起使用
MuseTalk 是由腾讯团队开发的先进技术，项目地址：https://github.com/TMElyralab/MuseTalk，它是一个实时的音频驱动唇部同步模型。该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。这样，观众就能看到数字人物口型与声音完美匹配的效果。MuseTalk 特别适用于256 x 256像素的面部区域，且支持中文、英文和日文等多种语言输入。在NVIDIA Tesla V100显卡上，MuseTalk 能够实现超过每秒30帧的实时推理速度。此外，用户还可以通过调整面部区域的中心点，进一步优化生成效果。
MuseTalk 可应用于多种场景，包括但不限于：
- 视频配音与唇同步：制作配音视频时，MuseTalk 能够根据音频调整人物的口型，从而提升视频的真实感和观看体验。
- 虚拟人视频生成：作为一整套虚拟人解决方案的一部分，MuseTalk 可以和 MuseV（视频生成模型）配合使用，创造出高度逼真的虚拟人演讲或表演视频。
- 视频制作与编辑：在视频制作和编辑中，当需要更改角色台词或语言而不愿重新拍摄时，MuseTalk 提供了一个高效的解决方案。
- 教育和培训：在教育领域，MuseTalk 可以用于制作语言教学视频，帮助学习者更准确地学习语言发音和口型。
- 娱乐与社交媒体：内容创作者可以利用 MuseTalk 为照片或绘画作品添加口型动画，创造有趣的视频内容分享至社交媒体，为粉丝提供新颖的互动体验。
一键包下载地址：
MuseTalk一键包下载地址 https://deepface.cc/thread-151-1-1.html
使用方法：
下载一键包，解压出来（建议解压到非中文路径下）
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
如上图，点击“一键启动MuseTalk”
当黑色窗口出现下图“Running on local URL: http://127.0.0.1:7860” 字样，复制http://127.0.0.1:7860到浏览器打开
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
如下图
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
成功打开后会自动跳转到软件WebUI界面，如下图：
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
软件主要包含三大块：
素材上传（上传驱动音频和参考视频素材）
参数调整（bbox参数，可以使用bbox_shift参数，控制嘴巴的张开幅度，正值，即向下半部分移动，这时会增加嘴巴张开度；负值即向上半部分移动，这时会降低嘴巴张开度。具体可以根据自己的实际情况调整）
生成预览（生成后的视频预览）
具体操作如下：
1、点击“驱动音频”，上传需要驱动的语音文件
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
2、点击“参考视频”，上传需要转换的视频文件
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
3、BBox参数我们先默认
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
4、点“生成”，等待即可
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
此时，黑色命令窗口会显示具体的处理进度，如下图
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
同时，程序会给出当前素材的BBox参考值，如下图红色框选所示
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
如果后期合成效果不好，可以根据这个推荐值范围做响应调整。
合成结束后， 黑色命令行会提示保存路径，并在右侧预览区域显示预览效果，如下图
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
可以点击右侧的预览查看，也可以打开保存路径 results\output 下找到视频查看效果
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
最后看下最终合成效果，总体上，比以前的几款(SadTalker和Wav2Lip)要好很多，不亏是大厂出品。
MuseTalk - 一键创建高质量数字人（对口型）一键整合包，大厂腾讯出品
