会员登录 立即注册

搜索

平面2D数字人

[复制链接]
崎山小鹿 发表于 2024-8-19 15:48:59 | 显示全部楼层 |阅读模式
崎山小鹿
2024-8-19 15:48:59 3695 0 看全部
平面数字人也叫2D数字人,也是人常说的纸片人。目前2D数字真人建模算法的实现,包括百度、硅基、风平和闪剪用的都是相似原理的方案,都是以一段实际拍摄的真人拍摄的视频为素材,用AI神经网络去训练读每个字的口型,最后训练出来可说任意内容的数字人。2D真人数字人的质量,一般和模型的训练算法、素材拍摄质量、AI合成的声音质量,还有数字人平台输出的算法、参数设置有关。技术容易实现,成本低效果好。

在具体实现上,大致又有两个分支,其中一个是录制完整真人开口说话的视频素材,训练也用的是真实的口型,它的优点是效果真实,录制时可以通过口播台词,来实现说话和语气、动作的匹配,训练出来的数字人动作表情也会切合使用场景。但相对来说,它对训练素材拍摄要求略微高一点点,主要是看人,如果是口才好不怯场、习惯在镜头前表达的人,只要10分钟就能搞定拍摄素材;如果是镜头前怯场的人,那就要多拍几遍。三款产品里,风平智能、硅基智能和闪剪都采用这种数字人模型的训练方式。
请看效果:


第二种算是简易速成的方法,录制的真人视频素材不用开口说话,数字真人是用AI算法去模拟预测口型的开合,这样的好处是对训练素材的要求低,只要拍摄者在镜头前面闭着嘴做一些手势动作就可以,而且建模速度快,不到1天就可以完成建模。但不足是,既然是速成的方法,所以效果不如前一种方法好,一是算法合预测合成的口型和牙齿,再怎么做也无法和真实口型相比,而且拍摄素材是不讲话光比划动作,除非是非常专业的演员,否则普通人很难不说话去做出来自然、恰当的动作,因此做出来的数字人会有比较明显的机械感,或者说不协调感感,肢体动作比较出戏,口型牙齿略显不自然,无法体现出不同人的不同气质特点。三款产品里,百度曦灵的数字人是唯一使用这种建模方法的产品。


不管哪种实现,都要求素材高清,录音清澈干净。
背景是一片混沌,由神经网络组成的美人脸,长发飘飘,赛博朋克风格,4k高清m.png

想搭建这样的数字人的请和我们联系,微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司



参考:https://zhuanlan.zhihu.com/p/651544547
天不生墨翟,万古如长夜!以墨运商,以商助墨。金双石科技长期招聘科技研发人才!微信:qishanxiaolu   电话:15876572365   公司:深圳市金双石科技有限公司
回复

使用道具 举报

  • 您可能感兴趣
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

管理员给TA私信
以墨运商,以商助墨。

查看:3695 | 回复:0

  • xnetcn.com

    http://www.xnetcn.com/ 星链中国 本域名出售,想要的请和我联系

    阅读:52|2024-12-06
  • 网站的宽带已经到达极限

    网站宽带100%使用率 已经不是第一次了

    阅读:590|2024-11-25
  • 高真实感的人物形象SyncTalk

    SyncTalk是一种基于NeRF的高同步性说话人合成方法,专门针对提升说话人视频真实感和

    阅读:1784|2024-11-20
  • wav2lip-384x384  训练

    Wav2Lip是一种基于深度学习的人物口型生成技术,它可以将音频信号转化为对应的人物口

    阅读:1525|2024-11-14
  • 修复视频中人脸面部工具

    帧处理选择: face_enhancer 面部增强模型:选择512的模型,gpen_bfr_512,下载地址

    阅读:970|2024-11-14
  • 15分钟训练数字人MimicTalk

    只需15分钟,就能训练高质量,个性化数字人大模型。由浙江大学与字节跳动联合推出Mim

    阅读:1477|2024-11-11
  • 去掉视频中的字幕-牛片网字幕抹除

    有时候我们需要去掉视频中的字幕,可以使用牛片网的字幕抹除功能 项目地址:https://w

    阅读:1107|2024-11-07
  • 程序员的出图神器ComfyUI

    ComfyUI 是一个强大且模块化的 Stable Diffusion 操作界面,与我们熟知的 WebUI 在底

    阅读:1242|2024-11-05
  • 平面2D数字人王者DH_live

    每个人都能用的数字人 一、项目地址:https://github.com/kleinlee/DH_live 目前我们

    阅读:1747|2024-11-05
  • 向日葵智能阳光导入系统

    向日葵智能阳光导入系统,方便部署在野外、山坡,沼泽给光线不足的地区带去阳光,有了

    阅读:1106|2024-11-05
金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2024 Discuz! Team.
快速回复 返回顶部 返回列表