视频和音频合成视频Easy_Wav2Lip

崎山小鹿 · 发表于 2024-8-13 09:34:19

Easy_Wav2Lip 是使用视频和音频合成新的视频
Easy-WAV2lip是目前最成熟的数字人口型算法。

用时以及效率来说，三大主流算法 WAV2lip、Geneface++、AD-Nerf。WAV2lip＞Geneface++＝AD-Nerf

1. 整体流程
第一步，加载视频/图片和音频/tts。用melspectrogram将wav文件拆分成mel_chunks。
第二步，调用face_detect模型，给出人脸检测结果（可以改造成从文件中读取），包装成4个数组batch：img_batch(人脸)，mel_batch(语音)，frame_batch(原图)，coords_batch(坐标)
第三步，加载模型，进行计算。这个模型目前看下来就是简单的resnet，没有transfomer。另外mask也不是用分割模型，而是直接将图片下半部分全部作为mask😄，然后将mask图片拼接到原图片的色彩通道上作为输入。
第四步：预测出来的人脸拼接到原图上，输出位视频。

2. 优缺点
优点：极其简单，一个人脸检测模型+一个基于CNN的lipsync模型，速度很快。
缺点：嘴唇经常是歪的，而且有变形；牙齿不断在闪烁。

比sadtalker丝滑多了

软件包运行：go-web.bat 双击就可以了
微信截图_20240813103551.png

运行成功，用浏览器打开：http://127.0.0.1:7860/
微信截图_20240813103616.png

运行成功。
可以上传一段视频和音频试试
微信截图_20240813104532.png

生成中

一分钟视频合成花了50分钟
看看效果

最后，推荐一个默认效果比较好的参数，大家也可以根据自己的素材自行调节：

视频质量选项：Enhanced
分辨率选项：full resolution
Wav2Lip版本选项：Wav2Lip
启动追踪旧数据：True
启用脸部平滑：True
嘴部上边缘：0
嘴部下边缘：10
嘴部左边缘：0
嘴部右边缘：0
Mask尺寸：1
Mask羽化：1
启用嘴部追踪：True
启用调试：False

参考视频：https://www.bilibili.com/video/BV1ME421P755?t=107.2
资源包有：
ChatTTS增强版一件整合包
AI数字人生成工具
EchoMimic照片转视频等
还有各种常见的AI常用提示词，比如网文写作

总的链接放下面了
https://www.yuque.com/chengby/bye72a/hxf81w24ocga8hvi?singleDoc#
有需要的小伙伴可自行领取

================================
构建中国人自己的私人GPT
https://jinshuangshi.com/forum.php?mod=viewthread&tid=132
(出处: 金双石科技)