嘴型修复技术DeepFaceLab

崎山小鹿 · 发表于 2024-3-24 20:16:40

有些视频中因为各种原因人物嘴型出现夸张、扭曲、牙齿缺失的情况，可以用DeepFaceLab修复，他的修复原理是读取目标视频人物的表情，用AI模型重新生成表情，用生成的表情覆盖目标人物的表情，从而达到修复目标嘴型的目的。
未标题-1.png

1.将目标视频提取图片
目标视频转图片 extract images from video data_dst FULL FPS.bat

2.从目标图片中提取头像
目标头像提取 data_dst faceset extract.bat

提取人脸

3.训练Xseg遮罩模型
需要自定义XSeg蒙版才能获得最佳效果，Xseg蒙版还允许您排除手、头发、眼睛、穿孔、舌头等src难以训练生成出来的细节等障碍物。
例如dst有眼镜，src无眼镜，训练生成的src如果直接贴在dst脸上，眼镜就会被盖住，留下两个奇怪的眼镜腿。通过Xseg遮罩模型，可以自动扣出dst的眼镜并保留，从而实现src也带上眼镜，效果更自然。
那为什么要训练一个模型呢？和每一张手动去画遮罩有什么区别？
答案是工作量不同：60秒视频，每秒25帧，一共1500张图，你每一张手动画遮罩我敬你是条汉子。而用Xseg模型的话，先挑关键动作20-50张图画上遮罩，再训练一个Xseg模型来学习，学完后由模型自己给其余类似图片画上遮罩，能极大减小工作量

如果你想体验Xseg模型制作过程，或素材遮挡比较特殊，就按一下步骤操作
1. 常规提取dst和src人脸，获得对应aligned文件夹
2. 使用5.XSeg) data_dst mask for XSeg trainer - edit.bat脚本，打开绘制工具，绘制dst的遮罩。src同理
3. 绘制完成后，使用5.XSeg) train.bat脚本进入训练阶段，脸型参数根据需要选wf或f，bs使用默认值。模型训练比较耗显存，如果提示OOM显存不足的错误，减小bs大小。另外一提，xseg模型不区分分辨率
4. 当训练预览窗口中第二第三栏效果图符合你满意程度时，按enter结束训练。在model文件夹下获得成品xseg模型一组
大多数高质量的deepfakes都是用DeepFaceLab制作的。DFL为创建deepfakes提供了端到端的解决方案，从数据收集和管理到模型训练和最终视频输出。

4.训练模型
训练重量级模型 train SAEHD.bat

开始训练

5.合成图片
应用重量级模型 merge SAEHD.bat
应用模型和xseg遮罩模型重新生成图片集
合成图片 MergerConfig 00001.png:
合成模式 Mode: overlay
遮罩模式 mask_mode: XSeg-prd
遮罩大小 erode_mask_modifier: 0
遮罩羽化 blur_mask_modifier: 0
动态模糊 motion_blur_power: 0
头像缩放 output_face_scale: 0
颜色模式 color_transfer_mode: rct
锐化模式 sharpen_mode: None
锐化力度blursharpen_amount: 0
超分力度 super_resolution_power: 0
图片降噪力度 image_denoise_power: 0
双三次插值降低力度 bicubic_degrade_power: 0
颜色降低力度color_degrade_power: 0
================
修复.png

6.合成新视频
合成 MP4 视频 merged to mp4.bat

7.如何部署DeepFaceLab
DeepFaceLab NVIDIA RTX 3000 系列构建支持（并需要）NVIDIA RTX 3000 系列 GPU 或更高版本（即 4000、5000、6000 等）

DeepFaceLab英文原版下载地址

链接：https://pan.baidu.com/s/1DBnKY53ubZol6VkWehuRIw
提取码：bmkj

启动硬件GPU加速
GPU计划.png

虚拟内存设置
加载读取人脸数据过程中，需要占用大量内存（此处指内存，不是显存），很可能内存耗尽导致程序停止，报出“页面文件太小，无法完成操作”"memory error"等错误。
需要设置较大虚拟内存，用一部分硬盘空间来临时当做内存使用。
设置方法百度“如何设置虚拟内存”

参考：
https://www.aibl.vip/thread-499-1-1.html
https://zhuanlan.zhihu.com/p/648261832
deepfacelab AI换脸训练参数详解

DeepFaceLab软件开发作者对于各项参数的官方介绍 (出处: deepfacelab中文网)
Deepfacelab模型训练，人人都可以训练一个专属自己的模型
DeepFaceLab 2.0 指南 (出处: ZhaTV)
Deepfacelab之Xseg遮罩模型详解

崎山小鹿 · 发表于 2024-8-17 19:55:03

错误提示：
DeepFaceLab使用下载的模型提示pretraining_data_path is not defined
AI换脸软件DeepFaceLab在使用下载的模型训练后，执行7) merge SAEHD.bat这步的时候提示：

Traceback (most recent call last):
File “S:\dfl\DeepFaceLab_NVIDIA_up_to_RTX2080Ti\_internal\DeepFaceLab\mainscripts\Merger.py”, line 52, in main
cpu_only=cpu_only)
File “S:\dfl\DeepFaceLab_NVIDIA_up_to_RTX2080Ti\_internal\DeepFaceLab\models\ModelBase.py”, line 184, in __init__
self.on_initialize_options()
File “S:\dfl\DeepFaceLab_NVIDIA_up_to_RTX2080Ti\_internal\DeepFaceLab\models\Model_SAEHD\Model.py”, line 178, in on_initialize_options
raise Exception(“pretraining_data_path is not defined”)

Exception: pretraining_data_path is not defined

解决办法：

在刚开始运行6) train SAEHD.bat启动训练的时候，2秒读秒提示时【Press enter in 2 seconds to override model settings.】快速按enter回车键，进入设置，将最后一步Enable pretraining mode( y/n ?:help )键盘输入n，回车，即关闭预训练。

崎山小鹿 · 发表于 2024-8-17 19:56:22

错误提示：
Traceback (most recent call last):
  File "G:\DeepFaceLab\DeepFaceLab_NV30_221111_CN\_internal\DeepFaceLab\core\joblib\SubprocessorBase.py", line 71, in _subprocess_run
result = self.process_data (data)
  File "G:\DeepFaceLab\DeepFaceLab_NV30_221111_CN\_internal\DeepFaceLab\merger\InteractiveMergerSubprocessor.py", line 118, in process_data
raise Exception( f'Error while merging file [{filepath}]: {e_str}' )
Exception: Error while merging file [F:\DFL\DeepFaceLab_NV30_221111_CN\workspace\data_dst\00008.png]: Traceback (most recent call last):
  File "G:\DeepFaceLab\DeepFaceLab_NV30_221111_CN\_internal\DeepFaceLab\merger\InteractiveMergerSubprocessor.py", line 112, in process_data
frame_info=frame_info)
  File "G:\DeepFaceLab\DeepFaceLab_NV30_221111_CN\_internal\DeepFaceLab\merger\MergeMasked.py", line 325, in MergeMasked
img_bgr_uint8 = imagelib.normalize_channels (img_bgr_uint8, 3)
  File "G:\DeepFaceLab\DeepFaceLab_NV30_221111_CN\_internal\DeepFaceLab\core\imagelib\common.py", line 15, in normalize_channels
img_shape_len = len(img.shape)
AttributeError: 'NoneType' object has no attribute 'shape'

解决办法：
将DeepFaceLab_NV30_221111_CN移动到[F:\DFL\下就好了。