剪映数字人口播原理

崎山小鹿

剪映版本升级了，新版本6.0.1支持数字人定制，于是我赶紧申请了使用资格


目前的价格是49元创建一个数字人形象，能使用30天，30天之后要重新续费。


支付49元之后剪映要求上传2.5至10分钟的视频


接着要阅读一段话并录制视频上传


第三步提交


提交完成之后大概一个小时就会有一个特定数字人形象出现：


发现在使用这个数字人时还额外的需要消耗积分，而我的积分为0，需要注册会员获取积分，就购买了一个19元包月的会员，终于可以正常使用了。

因为第一次定制数字人踩了不少坑。

1.上传的视频中每一帧都要有人物画面，像人物入场或者起身离场的画面都不能有。如果有这样的画面要用视频编辑软件剪掉。

2.录视频时眼睛平视摄像头，你以为他会自动纠正你的眼睛，滚犊子。

3.尽量露出完整的上半身轮廓，不要出现缺胳膊的情况。

4.嘴巴在任何时候都不能遮挡，如果要手扶眼镜要避开手拂过嘴巴的情况。



推测剪映数字人的原理是：得到你的视频素材之后提取你的嘴型与音频的对应关系，在生成数字人的时候重新播放你的原始素材再根据当前的语音音频提取对应的嘴型，将新的嘴型覆盖原始素材嘴型，即完成数字人口播视频的生成。那么这里用到了嘴型识别技术和换嘴技术。相比3D数字人嘴型驱动方式这种对服务器的压力小太多，使用的嘴型都是原始素材中直接提取，所以生成的画面也非常逼真。

下面是我花了68元做的数字人效果。

崎山小鹿

即使是字节跳动这样的公司做产品也是非常谨慎和保守的，以最少的投入获取最大的回报，能把数字人定制打到两位数以下也没别人了。

崎山小鹿

崎山小鹿 发表于 2024-7-3 22:39
即使是字节跳动这样的公司做产品也是非常谨慎和保守的，以最少的投入获取最大的回报，能把数字人定制打到两 ...

换脸技术都比字节数字人技术高一个等级，更别说3d数字人嘴型和表情驱动了。