高真实感的人物形象SyncTalk

崎山小鹿

        SyncTalk是一种基于NeRF的高同步性说话人合成方法，专门针对提升说话人视频真实感和同步性而设计，克服了以往在同步性方面遇到的挑战，仅使用5分钟的说话视频即可生成高真实感的人物形象。目前该工作已入选CVPR 2024

        神经辐射场（NeRF）是一种神经网络，可以从部分二维图像中重建复杂的三维场景。各种模拟、游戏、媒体和物联网（IoT）应用程序都需要三维图像，以使数字交互更加逼真和准确。NeRF 可学习特定场景的几何形状、物体和角度。然后，它可以从新的视角呈现逼真的三维视图，自动生成合成数据以填补空白。





SyncTalk项目地址:https://github.com/ZiqiaoPeng/SyncTalk


baidu网盘下载
https://pan.baidu.com/share/init ... PHjrRg&pwd=6666

双击inference.bat即可运行演示。
首次运行"inference.bat"时，需要自动下载几个文件，如果联网下载过慢，可以执行如下操作：
将checkpoints目录下的文件移动到C:\Users\Administrator\.cache\torch\hub\checkpoints目录
例如：C:\Users\Administrator\.cache\torch\hub\checkpoints\alexnet-owt-7be5be79.pth
注意：Administrator是windows的用户名，这里改成自己的用户即可。


看效果


数据预处理
1、准备视频
视频要求，帧速率 ：25FPS，帧宽高：512*512，每帧画面必须有说话的人，视频长度建议在4分02秒内，多于此时间会报错，需要调整代码。

视频需要高分辨率，低分辨率的视频训练出来效果较差。

视频放入目录 SyncTalk-Windows\face-SyncTalk\SyncTalk\data\<ID>\<ID>.mp4

预处理命令：

python data_utils/process.py data/<ID>/<ID>.mp4 --asr ave


参考：
https://blog.csdn.net/ScottOcp/article/details/140243136
https://aws.amazon.com/cn/what-is/neural-radiance-fields/

崎山小鹿

https://www.bilibili.com/video/BV1ks421u74m?t=338.2   推理视频