Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

实现照片中人物开口讲话不错的在线工具有HeyGen和D-ID,但需要付费使用。现在, AIHubPro推荐一个开源程序——SadTalker,可以在本地部署并无限次使用。本教程详细介绍了SadTalker的安装和使用步骤,包括 stable diffusion插件模式。您可以在HuggingFace上免费体验,或通过Google Colab部署。让我们一起探索SadTalker带来的强大功能,实现一张照片生成人物开口讲话。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

SadTalker,github项目地址: https://github.com/OpenTalker/SadTalker

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

SadTalker具有多种使用方式,您可以选择完整安装程序并按照项目详情页提供的具体操作步骤进行安装。然而,完整安装可能涉及一些繁琐的操作步骤。不过,这个工具还支持stable diffusion插件模式,您可以直接在stable diffusion中安装该插件并轻松使用,这将更加方便快捷。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

目录

Stable Diffusion插件SadTalker安装教程

1、首先,打开stable diffusion操作页面。如果您的电脑上尚未安装stable diffusion,请参考之前的文章,下载stable diffusion一键启动包

Stable Diffusion零基础入门教程 ,附一键启动傻瓜式安装包

2、并按照《Stable Diffusion零基础入门教程 ,附一键启动傻瓜式安装包》中的说明,启动stable diffusion webui。

3、在stable diffusion webui界面上,点击【扩展】,然后选择【从网址安装】。

4、在弹出的对话框中,将git仓库网址 https://github.com/OpenTalker/SadTalker.git 输入到相应的输入框中。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

5、点击安装按钮,开始安装SadTalker插件。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

需要稍微等一下,然后点击【已安装】,列表里有sadtalker就说明已经安装完了。然后再去网盘下载checkpoints和gfpgan,将两个压缩文件下载到extensionsSadTalker文件夹内并解压,网盘链接:

checkpoints和gfpgan文件

提取码:prnu复制
解压码:无
下载

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

然后配置ffmpeg,首先打开ffmpeg官网: https://ffmpeg.org/download.html,下载对应系统的文件,这里以Windows为例(文件网盘中也有)

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

将压缩包下载到本地电脑上解压,然后打开bin文件夹,复制路径

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

然后鼠标右键点击我的电脑-属性-高级系统设置-环境变量-选中Path点击编辑-新建,然后在输入框内输入上面的文件夹路径,然后确定。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

这时在cmd里输入如下命令:

ffmpeg -version

出现详细信息就表示ffmpeg安装成功。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

然后重启webui,即可使用。可以直接上传图片也可以导入文生图或图生图生成的图片,各项功能如下图所示。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

视频生成后,你可以点击播放预览视频,也可以鼠标右键点击视频然后选择视频另存为,将视频保存到其它地方。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

视频演示

全身模式生成的视频,只有头部会动,身体不会动,头转动的时候和身体有明显的边界,看起来有点怪异,resize模式全身都会动,但是画面都扭曲了,甚至脸都没了,更怪,最好还是crop模式。

在线体验方式

如果你电脑无法搭建的话,你可以在huggingface上免费体验,链接: https://huggingface.co/spaces/vinthony/SadTalker

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

在huggingface上免费体验的时候有时候需要排队,而且可能需要花费很长时间,也可以付费升级提升速度和体验,如果你就不想花钱的话,也可以在Google colab上免费部署体验,链接: https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/video/stable/stable_diffusion_1_5_video_webui_colab.ipynb

直接点击代码左侧三角符号按钮运行代码就可以,等到程序安装完成后,底部会出现三个页面链接,打开链接就可以免费体验SadTalker,但是免费的是无法保证的,google colab在使用过程中有可能随时会被终止。

Stable Diffusion插件SadTalker,本地部署教程,实现照片中人物开口讲话

感兴趣的朋友抓紧去试试吧^_^

声明:本站部分文章来源于网络,如有侵犯您的合法权益,请您即时与我们联系,我们将在第一时间处理。如需转载本站文章,请在转载时标明出处并保留原文链接,否则我们将保留追究法律责任的权利。

给TA打赏
共{{data.count}}人
人已打赏
AI教程 AI资源Download

DeepFaceLab 2.0 指南【中文版】

2023-6-3 16:02:19

AI教程 AI资源Download

Photoshop 2023 for mac(萤火虫)独立安装版!(PS 2023)24.6beta中文激活版

2023-6-7 10:36:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧

玻璃钢生产厂家生产玻璃钢迎宾人物雕塑价格本溪批售沈阳玻璃钢花盆江西商业街玻璃钢雕塑设计公司宣威市玻璃钢雕塑生产厂家玻璃钢雕塑加工制作宁夏抽象人物玻璃钢雕塑云南玻璃钢花盆武汉商业街玻璃钢雕塑大旺玻璃钢人物雕塑公司广东公园玻璃钢雕塑销售电话丹阳主题商场美陈重庆玻璃钢卡通雕塑价格张掖玻璃钢卡通座椅雕塑道路护栏玻璃钢花盆新郑玻璃钢仿铜雕塑定制厂家广场商场美陈创意设计蚌埠人物玻璃钢雕塑厂家玻璃钢小羊动物雕塑设计与制作娄底玻璃钢雕塑制作厂家浙江节庆商场美陈价格卡通玻璃钢雕塑艺术摆件玻璃钢鹿雕塑制造厂家甘肃玻璃钢雕塑摆件景观玻璃钢卡通雕塑定做上海超市商场美陈费用珠海透明玻璃钢雕塑生产厂家定南玻璃钢花盆花器玻璃钢仿铜骑士雕塑湖南小区玻璃钢雕塑价格云南水果玻璃钢雕塑设计香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化