将数字人--sadtalker以插件的方式集成到Stable Diffusion中

最新推荐文章于 2024-08-16 14:58:57 发布
BBM的开源HUB 最新推荐文章于 2024-08-16 14:58:57 发布
阅读量1.3k 收藏 10
点赞数 16
分类专栏： AI专栏 文章标签： stable diffusion sadtalker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/chengxuquan/article/details/135389455
版权
AI专栏 专栏收录该内容
50 篇文章 22 订阅
订阅专栏
本文介绍了如何将资源节约型的SadTalker以插件形式集成到StableDiffusion中，包括项目地址的正确输入、WEBUI的设置步骤，以便用户更方便地利用其功能。
摘要由CSDN通过智能技术生成

Sadtalker在数字人领域因其消耗资源少，节省GPU资源等优点，被不少人喜爱，但他提供的WEBUI调试非常不方便，将Sadtalker以Stable Diffusion插件的方式集成在一起，可以更方便大家使用，接下来，我就介绍一下，如何将Sadtalk以插件的方式集成到Stable Diffusion中。

一：项目地址

Sadtalker的项目地址：https://github.com/OpenTalker/SadTalker/

在这里需要注意的就是SadTalker的字母大小写，如果在安装过程中，写成小写，后期可能无法加载，这里要特别注意一下。

同样打开Stable Diffusion界面，找到“扩展插件/Extensions”，选择“从网址安装/Install form URL”，在仓库地址处输入项目地址，然后点击“安装/Install”。

二：SadTalker设置

重启stable diffusion后，我们就可以在界面上看到SadTalk的选项了，如图：

但是这个时候还没有完，我们还要配置一下视频输出的地址。进入“设置/Settings”。

设置sadtalker的输出地址：/stable-diffusion-webui/extensions/SadTalker/results

接下来，小伙伴们就可以愉快的使用SadTalker数字人了。

Stable Diffusion 使用 SadTalker 生成图片数字人
Mr数据杨
07-06 2779
Heygen和D-ID等照片转视频的工具，都需要在线付费使用。本次介绍一个SadTalker数字人。SadTalker有多种使用方式，包括完整安装程序和stable diffusion插件模式。安装程序操作较繁琐，因此推荐stable diffusion插件模式。
Stable Diffusion WebUI安装SadTalker插件
-
07-27 3949
stable diffusion 安装 sadtalker，生成你自己的2D数字人
只需3步，使用Stable Diffusion无限生成AI数字人视频
python03012的博客
05-06 1640
该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。以上就是本文的主要内容了，使用这种方法就可以无限制作自己的AI专属数字人，想要什么样的风格都可以，想做多少个都可以，有兴趣的快去试试吧。这个插件需要下载的文件很多，有的文件还比较大，请耐心等待。
干货分享|如何使用Stable Diffusion打造会说话的数字人？
最新发布
2401_83048197的博客
08-16 655
数字人已不是什么新鲜名词了。在许多领域，尤其是媒体和娱乐领域，经常可以看到卡通形象的人物或逼真的虚拟主持人。在Stable Diffusion中，我们可以上传一段录制好的音频文件，然后使用SadTalker插件，将音频和图片相结合，让图片上的角色开口说话。在 WebUI中单击 “SadTalker”选项卡，在 “上传图像”窗口中上传角色图片，在“上传音频或TTS”窗口中上传音频文件，如图所示。
Stable Diffusion WebUI安装合成面部说话插件SadTalker
培根芝士的专栏
12-29 1776
SadTalker可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。
Stable Diffusion插件—SadTalker
m0_59139710的博客
10-25 553
但是，我还发现了一个更有趣的模型——SadTalker，talker顾名思义，是一个说话的人，他的作用就是通过模型，将一张图片和一段音频合成为一个动态的视频!!!!!
尝试着在Stable Diffusion里边使用SadTalker进行数字人制作
qq_42108074的博客
01-19 1655
我使用的基础软件是Stable Diffusion，SadTalker是作为插件放进来的，需要注意的是这对自己的电脑GPU要求比较高，至少需要8G，至少我的电脑是8G显存。点击扩展，选择从网址安装，然后把git仓库https://github.com/OpenTalker/SadTalker.git放入指定的位置，然后点击安装。先下载下载并安装ffmpeg，这一步的作用是语音格式的各种转换，虚拟数字人能开口说话，需要我们上传自己的语音，如果格式不符合会自动转换。然后我解压到D:\VideoSoft目录下。
Stable Diffusion能让图片也能开口说话？别惊讶！用SadTalker插件，一键生成自己的数字人（附资料）
A1353192296的博客
04-23 1178
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
（三）SadTalker 让stable diffusion 人物可以说话
西风瘦马
05-01 5671
可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持,可以SD出图后，结合一段音频合成面部说话的视频（抖音常见的数字人）
SadTalker
whaosoft143ai的博客
04-19 412
为了实现身份无关的系数生成，只将运动的参数建模为{β, r, t}。另一种流行的方法是基于latent的人脸动画，主要关注在对话式人脸动画中特定类别的运动，同样很难合成高质量的视频，因为虽然三维面部模型中包含高度解耦的表征，可以用来单独学习面部不同位置的运动轨迹，但仍然会生成不准确的表情和不自然的运动序列。三维运动系数包含头部姿势和表情，其中头部姿势是全局运动，而表情是相对局部的，所以完全学习所有的系数会给网络带来巨大的不确定性，因为头部姿势与音频的关系相对较弱，而嘴唇的运动则是与音频高度关联的。
AI丨部署SadTalker并添加到Stable Diffusion
2401_84250614的博客
04-25 1515
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）
05-30
AI绘图，Stable-Diffusion WEBUI，本地化（简体中文）语言文件。 原始文件来自翻译插件，根据自己实际使用情况，增加和修改了一些翻译。 配合【双语插件】看上去要自然一点，内容还在继续完善中。 本次增加了一些...
Stable-Diffusion-WebUI（秋叶）和Stable-Diffusion–forge
05-10
根据给定的信息，“Stable-Diffusion-WebUI（秋叶）和Stable-Diffusion–forge”似乎是指两个与Stable Diffusion相关的项目或工具。这里将详细解析这两个概念，以便更好地理解它们所涉及的技术知识点。 ### Stable-...
AI-绘画的工具准备：Stable-Diffusion使用教程.pdf
06-03
AI-绘画的工具准备：Stable-Diffusion使用教程
stable-diffusion-webui的逐步部署教程
热门推荐
weixin_43178406的博客
01-11 6万+
本文主要介绍了stable-diffusion-webui的逐步部署教程，希望能对使用Stable Diffusion的同学们有所帮助。 文章目录 1. 前言 2. 逐步部署教程 2.1 创建Python环境 2.2 安装依赖库 2.3 运行代码
stable diffusion上安装数字人sadtalker插件
Peter的博客
03-15 918
这里强调一下无论你用的谁的安装包，在安装前你一定要检查一下你是否已经配置了python和git这两个软件，方法很简单，你只需要在终端输入where git|where python,如果显示这两个软件的位置则代表你已经安装，则不需要安装，否则安装多个python版本会在后续的操作中造成命令混淆！一般来说只要你安装了stable diffusion，那么python你肯定是装了的，git你可以在git官网正常下载安装即可，对了我看联想电脑的应用商店也有下载起来很方便的！
SadTalker AI模型使用一张图片与一段音频便可以自动生成视频
人工智能研究所的博客
06-26 2182
SadTalker模型是一个使用图片与音频文件自动合成人物说话动画的开源模型，我们自己给模型一张图片以及一段音频文件，模型会根据音频文件把传递的图片进行人脸的相应动作，比如张嘴，眨眼，移动头部等动作。然后就可以git sadtalker的工程目录，并安装相应的第三方库，这里主要是torch相关的库，这里为了合成音频的方便，我们同样可以安装TTS来进行音频的合成。模型不仅可以模仿人类说话，还可以进行唱歌。当然下载的预训练模型需要放置在checkpoints目录下，以上所有的操作完成后，我们就可以运行模型了。
使用sad talker制作AI数字人视频-【Stable Diffusion 实战教程】
红老属爱学习的专栏
03-30 1139
打开stable diffusion 中扩展栏目，从网页下载sad talker插件，下载完之后可以在installed处检查会出现sadtalker的标志，如果有就下载成功了，如果没有可能是因为网络原因，多试几次，如果不行那就上gitup下载，并把下载后的插件放到sd栏目中的，E:\stable-diffusion-webui\extensions文件中。插件需要的基础模型，如：预训练模型、构造脸部说话姿势等工具模型。的插件的运行需要我们下载两部分内容，一部分是。插件所需要的模型与离线包文件。
【论文精读】 SadTalker：Stylized Audio-Driven Single Image Talking Face Animation（CVPR2023）
风信子的猫Redamancy的快乐星球
03-24 4586
不自然的头部运动扭曲的表情和身份变化。作者认为这些问题主要是因为从耦合的 2D 运动场中学习。另一方面，使用 3D 信息也存在表情僵硬和视频不连贯的问题。因此作者提出SadTalker，生成3DMM的三维（头部姿势、表情）系数，利用三维面部渲染器进行视频生成。为了学习逼真的运动场系数，作者建模音频与不同类别运动场系数之间联系。作者提出ExpNet，蒸馏运动场系数与三维渲染人脸学习准确面部表情。对于头部姿势，作者设计PoseVAE生成不同风格头部动画。
写文章

热门文章

  • 自建家用防火墙-pfSense 16267
  • 什么是目标检测--Object Detection 12431
  • 医学成像中的深度学习——基于PyTorch的3D 医学图像分割 12249
  • MyCobot六轴机械臂的基本操作（二） 11312
  • 手把手教你玩转YOLOX--（下）数据集标注及训练 11208

分类专栏

  • Keras深度学习框架详解 付费 12篇
  • 医学影像 5篇
  • 深度学习 8篇
  • AI专栏 50篇
  • IT运维 22篇

最新评论

  • 使用OneAPI+Ollama+Dify搭建一个兼容OpenAI的API发布及AI应用开发系统（二）客户端设置

    BBM的开源HUB: 遇到过同样的问题，好象用root帐号生成的API Key可以，其他用户生成的好象不行。初步估计可能与权限有关。

  • 使用OneAPI+Ollama+Dify搭建一个兼容OpenAI的API发布及AI应用开发系统（二）客户端设置

    小阿猿-: dify中怎么接入oneapi？好像添加不了吧

  • 在本地部署LobeChat

    BBM的开源HUB: 这里用的都是社区版本，也就是免费的那种。如果你需要全部功能可以咨询开发方。

大家在看

  • 了解Scala的多态概述的定义，作用以及优点
  • [原创]基于黑翅鸳算法优化深度神经网络(BKA-DNN)的数据分类预测 Matlab代码
  • bevfusion-mit部署及nuscenes数据集下载配置(保真) 3

最新文章

  • Dify与OneAPI的兼容性问题讨论
  • Flowise源码安装后制作开机启动脚本
  • 使用OneAPI+Ollama+Dify搭建一个兼容OpenAI的API发布及AI应用开发系统（三）Dify的安装及配置
2024
10月 3篇
09月 9篇
08月 6篇
05月 2篇
04月 4篇
03月 5篇
02月 10篇
01月 10篇
2023年4篇
2022年40篇

目录

目录

评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BBM的开源HUB

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或 充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家园林玻璃钢雕塑厂家批发上海中庭商场美陈批发价红色玻璃钢雕塑生产公安玻璃钢花盆花器江苏多彩玻璃钢雕塑定做价格玻璃钢卡通水果雕塑工厂河北曲阳玻璃钢雕塑视频绍兴商场美陈研发公司玻璃钢雕塑一般用多少度硅胶佛山玻璃钢雕塑人像定做厂家普洱玻璃钢雕塑多少钱重庆制作玻璃钢雕塑的公司商场美陈怎么拍河北中庭商场美陈批发价西安玻璃钢雕塑生产厂桐乡玻璃钢浮雕人物山水雕塑新郑标牌标识校园玻璃钢雕塑陕西镂空玻璃钢雕塑郸城玻璃钢雕塑广州哪里有玻璃钢花盆家用玻璃钢花盆哪里买浙江走廊商场美陈多少钱形容商场美陈的词语苏州小区玻璃钢雕塑制作阳江熊猫玻璃钢卡通雕塑福建大型玻璃钢花盆江苏拉丝玻璃钢雕塑销售价格镜面校园玻璃钢景观雕塑报价普陀区定制玻璃钢雕塑哪家好户外园林景观玻璃钢卡通雕塑厂香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人？张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身！外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫：哈马斯三号人物被杀测试车高速逃费 小米：已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化