会员登录 立即注册

搜索

让图片说话SadTalker

[复制链接]
崎山小鹿 发表于 2024-2-8 15:37:14 | 显示全部楼层 |阅读模式
崎山小鹿
2024-2-8 15:37:14 174 0 看全部
先看效果:


SadTalker:使用一张图片和一段语音来生成口型和头、面部视频.
西安交通大学开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。
论文地址:Learning Realistic 3D Motion Coefficients
整体来说 Talking head 就是用语音驱动每一帧图片的表情(眼睛、嘴巴等)和头部(head motion)运动,并重建人脸以生成视频。表情运动是局部的,头部运动是全局的,且表情跟声音的关系比较强,头部姿态跟声音的关系比较弱,将这两个系数解耦开可以减少人脸扭曲。

sadtalker的原理基于深度学习技术,主要包括两个关键步骤:情感分类和文本生成。

一、下载工程文件
git clone https://github.com/Winfredy/SadTalker.git

clone

clone


文件如下:

文件

文件


二、安装Python
发现只支持python 3.10.6,>>>点击下载<<<
安装完成将Python添加到PATH

三、安装ffmpeg
下载 ffmpeg
解压到本地并记下bin的路径,将路径添加到PATH
也可以使用 scoop 安装 ffmpeg:
scoop install ffmpeg。


四、启动
运行webui.bat
webui.png

第一次运行会下载gfpgan 模型,同时会自动安装requirements.txt里的组件,需要一点时间。

上传一张人物照片,上传一段wav格式的语音。

sadtalker

sadtalker


在右侧设置:
crop:短的,裁剪的,大头贴模式
resize:调整大小
full:原图

Still Mode:静止模式,较少的手部动作
GFPGAN as Face enhancer:人脸增强,GFPGAN是一个免费使用的开源软件,可以提高照片的分辨率和修复一些损坏。

点击“Generate”就开始生成了。

生成

生成


用了我10G内存和4G显存
sgpu.png



●gradio的版本不对也会影响启动,建议安装3.27.0版本:  pip install gradio==3.27.0

回复

使用道具 举报

  • 您可能感兴趣
您需要登录后才可以回帖 登录 | 立即注册 |

本版积分规则 返回列表

查看:174 | 回复:0

金双石科技,软件开发20年,技术行业领先,您的满意,就是我们的目标,认真负责,开拓进取,让成品物超所值
关于我们
公司简介
发展历程
联系我们
本站站务
友情链接
新手指南
内容审核
商家合作
广告合作
商家入驻
新闻合作

手机APP

官方微博

官方微信

联系电话:15876572365 地址:深圳市宝安区西乡街道宝民二路宝民花园5巷6栋405 ( 粤ICP备2021100124号-1 ) 邮箱:qishanxiaolu@qq.com
QQ|Powered by Discuz! X3.5 © 2001-2023 Discuz! Team.
快速回复 返回顶部 返回列表