教育培训网站排名,成都专做婚介网站的公司,响应式布局需要注意什么,免费的企业邮箱AI技术突飞猛进#xff0c;不断的改变着人们的工作和生活。数字人直播作为新兴形式#xff0c;必将成为未来趋势#xff0c;具有巨大的、广阔的、惊人的市场前景。它将不断融合创新技术和跨界合作#xff0c;提供更具个性化和多样化的互动体验#xff0c;成为未来的一种趋… AI技术突飞猛进不断的改变着人们的工作和生活。数字人直播作为新兴形式必将成为未来趋势具有巨大的、广阔的、惊人的市场前景。它将不断融合创新技术和跨界合作提供更具个性化和多样化的互动体验成为未来的一种趋势。 SadTalker介绍
西安交通大学开源了人工智能SadTaker模型通过从音频中学习生成3D运动系数使用全新的3D面部渲染器来生成头部运动可以实现图片音频就能生成高质量的视频。内含多个踩坑的解决办法值得玩一玩。
SadTalker地址
可以根据一张图片、一段音频合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持stable diffusion webui,可以SD出图后结合一段音频合成面部说话的视频抖音常见的数字人 环境准备
Anaconda介绍
Anaconda中文大蟒蛇是一个开源的Anaconda是专注于数据分析的Python发行版本包含了conda、Python等190多个科学包及其依赖项。
Anaconda就是可以便捷获取包且对包能够进行管理包括了python和很多常见的软件库和一个包管理器conda。常见的科学计算类的库都包含在里面了使得安装比常规python安装要容易同时对环境可以统一管理的发行版本。
下载地址https://repo.anaconda.com/archive/
Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
为什么要安装Anaconda
Anaconda对于python初学者而言及其友好相比单独安装python主程序选择Anaconda可以帮助省去很多麻烦Anaconda里添加了许多常用的功能包如果单独安装python这些功能包则需要一条一条自行安装在Anaconda中则不需要考虑这些同时Anaconda还附带捆绑了两个非常好用的交互式代码编辑器Spyder、Jupyter notebook。
总的来说在Anaconda中conda可以理解为一个工具也是一个可执行命令其核心功能是包管理与环境管理。所以对虚拟环境进行创建、删除等操作需要使用conda命令。
annoconda环境安装
annoconda环境安装与使用详见环境安装
配置镜像源
conda config --add channels https://pypi.tuna.tsinghua.edu.cn/simple
#豆瓣源
conda config --add channels http://pypi.douban.com/simple/ # 阿里源
conda config --add channels https://mirrors.aliyun.com/pypi/simple/#中科大源
conda config --add channels https://pypi.mirrors.ustc.edu.cn/simple/conda config --remove channels https://pypi.mirrors.ustc.edu.cn/simple/
conda config --remove-key channelsconda install numpy1.19.2conda create --name myenv python3.8
conda env list
conda activate myenv
conda deactivate
conda env remove --name myenv注给pip添加镜像和给conda添加镜像源是不同的上述conda config添加的源实测不能用的上述的是pip的镜像源不能在conda下用正确应该是
给pip添加清华通道
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
给conda添加清华通道
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
给conda添加社区通道
conda config --add channels conda-forge
conda的镜像源也可以直接修改.condarc 的文件conda 应用程序的配置文件。
Windows 用户无法直接创建名为 .condarc 的文件可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。文件的一个示例
channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
ssl_verify: true
show_channel_urls: true另附几个常用的镜像源
# 清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free# 中科大源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
SadTalker安装
SadTalker安装倒不复杂但是安装成功非常的不容易。所以这里给出了避坑指南。主要是依赖和需要下载的东西太多太大了光pytouch都需要2.1G模型文件又是几个G。
这里有个坑是最好使用conda来安装需要的包且指定python的版本为3.8才行。如果指定版本为3.10最后老半天来个个别pytouch的包找不到安装失败的尴尬又得重来一遍很耗时。
还有需要注意的是一定要提前设置好镜像源啊否则几天都别想安装成功需要下载好几个G的东西。
conda create -n sadtalker python3.8conda activate sadtalker网上给出的安装步骤如下
conda create -n sadtalker python3.8conda activate sadtalkerpip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113conda install ffmpegpip install -r requirements.txt
其实也可以直接执行webui.bat脚本即可会自动的下载所有的依赖包注这种方式pytouch和下载的包都在venv的目录里不支持指定下载pytorch的版本默认的下载内容在launcher.py文件种能查看到。
E:\test\python\SadTalker .\webui.bat
如果以上成功仅代表环境安装ok,但是仍然是无法使用的需要下载模型。在 sadtalker项目根目录下新建两个目录checkpoints 和gfpgan下载好的模型分别放在这两个文件夹。模型比较大checkpoints内的文件就有3.3G大小gfpgan下的文件大小600M左右。不建议从github上下载那样下载太慢了。
这里给出百度云盘地址
模型checkpoints, 提取码: sadt.gfpgan, 提取码: sadt.
另外下载github上的资源推荐使用镜像站点的方式下载。
这里推荐一个GitHub Proxy 代理加速
再推荐几个快速访问和下载github资源的站点
#通过代理网站下载
#Release、Code(ZIP) 文件加速
https://gh.api.99988866.xyz
https://github.rc1844.workers...
https://ghgo.feizhuqwq.worker...
https://git.yumenaka.net
https://github.com.cnpmjs.org
https://mirror.ghproxy.com/
https://ghproxy.com/
https://toolwa.com/github/#Git Clone 加速
https://github.do
https://gitclone.com
https://hub.fastgit.xyz
https://ghproxy.com
https://hub.0z.gs
具体哪个速度快请自行找一些大文件来测速。我常使用的是ghproxy.com下载github上的文件因为名字好记速度也不错比百度网盘快很多。
如何使用
启动UI的方式生成
E:\test\python\SadTalker .\webui.bat 命令行方式视频生成 通过图片语音生成视频
python inference.py --driven_audio data/sample.wav --source_image data/sample.png
通过视频片段语音生成视频
python inference.py --driven_audio data/sample.wav --source_image data/sample.mp4
通过参数对生成的视频进行控制
--preprocess full 表示完整图片--still 可以减少头部运动--enhancer gfpgan
参数1是保留全身如果不加这个参数则视频中只剩头部
参数2是减少头部晃动头部晃动是会和脖子的连接部位脱节
参数3是基于gfpgan对视频进行增强
查看webui.bat文件内容可知如果是直接执行webui.bat默认会把pytorch下载到SadTalker项目的venv目录下这样如果直接执行上述命令行方式的话是不行的会提示pytorch和其它一些未安装。如果确实需命令行下执行可参考webui.bat文件内容临时更改环境变量。
call .\venv\Scripts\activate.batset PYTHONvenv\Scripts\Python.exe$PYTHON inference.py --driven_audio data/sample.wav --source_image data/sample.png
webui.bat文件内容如下
echo offIF NOT EXIST venv (
python -m venv venv
) ELSE (
echo venv folder already exists, skipping creation...
)
call .\venv\Scripts\activate.batset PYTHONvenv\Scripts\Python.exe
echo venv %PYTHON%%PYTHON% Launcher.pyecho.
echo Launch unsuccessful. Exiting.
pause
最终测试效果 成功生成视频 可以完美跑起来就是生成视频的速度太慢太慢啦要等一会儿才完成。这也跟语音文件大小有关系平均十多秒才处理一张图片。另外一个原因cmd窗口提示
Launching SadTalker Web UI
E:\test\python\SadTalker\venv\lib\site-packages\torch\cuda\__init__.py:83: UserWarning: CUDA initialization: CUDA driver initialization failed, you might not have a CUDA gpu. (Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c10\cuda\CUDAFunctions.cpp:109.)return torch._C._cuda_getDeviceCount() 0
电脑没有安装cuda没利用GPU的运算能力。
关于cuda
2006年NVIDIA公司发布了CUDA(Compute Unified Device Architecture)是一种新的操作GPU计算的硬件和软件架构是建立在NVIDIA的GPUs上的一个通用并行计算平台和编程模型它提供了GPU编程的简易接口基于CUDA编程可以构建基于GPU计算的应用程序利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。它将GPU视作一个数据并行计算设备而且无需把这些计算映射到图形API。操作系统的多任务机制可以同时管理CUDA访问GPU和图形程序的运行库其计算特性支持利用CUDA直观地编写GPU核心程序。
CUDA提供了对其它编程语言的支持如C/CPythonFortran等语言。只有安装CUDA才能够进行复杂的并行计算。主流的深度学习框架也都是基于CUDA进行GPU并行加速的几乎无一例外。还有一个叫做cudnn是针对深度卷积神经网络的加速库。
CUDA在软件方面组成有一个CUDA库、一个应用程序编程接口API及其运行库(Runtime)、两个较高级别的通用数学库即CUFFT和CUBLAS。CUDA改进了DRAM的读写灵活性使得GPU与CPU的机制相吻合。另一方面CUDA提供了片上on-chip共享内存使得线程之间可以共享数据。应用程序可以利用共享内存来减少DRAM的数据传送更少的依赖DRAM的内存带宽。
cuda解决办法
首先检查显卡驱动CUDAcudnn以及pytorch的版本是否匹配如果不匹配需要卸载之后重装对应的版本。
如何查看CUDA版本
1.搜索栏输入cmd回车进入cmd
2.输入下面语句
nvidia-smi
或者
PS C:\Program Files\NVIDIA Corporation\NVSMI .\nvidia-smi.exe
能看到类似以下内容其中就有CUDA版本信息 如果C盘的Program Files目录下就没有NVIDIA GPU Computing Toolkit文件夹nvdia没有安装成功需要安装CUDA Toolkit。
在设备管理器此电脑–右键–属性的显示适配器中可以查看自己的显卡型号去官网下载对应的CUDA Toolkit 。
其他资源
还是搞不懂Anaconda是什么?读这一篇文章就够了-CSDN博客
annoconda安装使用及镜像源的添加提高软件下载速度_conda镜像安装-CSDN博客
Anaconda安装教程带图文及使用、配置指南含编辑器对比 - 知乎
conda常用命令详解_conda显示所有环境-CSDN博客
annoconda安装使用及镜像源的添加提高软件下载速度_conda镜像安装-CSDN博客
深度学习环境安装 - 知乎
Anaconda 中使用 conda 配置虚拟环境与管理安装包 - 知乎
如何判断自己的电脑里有没有cuda以及查看cuda版本_CheCacao的博客-CSDN博客
八、让照片说话之SadTalk_vandh的博客-CSDN博客
手把手教安装SadTalker教程_think_张大彪的博客-CSDN博客
stable-diffussion-webuisd-webui-text2videoSadTalker数字人生产力工具安装配置教程Linux Ubuntu避坑帖_水无月繁星的博客-CSDN博客
四元数(Quaternions)
彻底搞懂“旋转矩阵/欧拉角/四元数”让你体会三维旋转之美_欧拉角判断动作-CSDN博客
【实战】体验SadTalker-CSDN博客
SadTalker项目上手教程_Alphathur的博客-CSDN博客
SadTalker 学习笔记-CSDN博客
SadTalkerCVPR2023-音频驱动视频生成_‘Atlas’的博客-CSDN博客
SadTalkerStylized Audio-Driven Single Image Talking Face AnimationCVPR2023_c2a2o2的博客-CSDN博客
MakeItTalk让你的人物图片或者动画动起来学习笔记_一名不想学习的学渣的博客-CSDN博客
MakeItTalk用一段语音让一张照片动起来-CSDN博客
faceswap换脸程序安装及使用-CSDN博客
AI数字人换脸模型Faceswap_智慧医疗探索者的博客-CSDN博客
AI数字人最强声音驱动面部表情模型VideoReTalking_智慧医疗探索者的博客-CSDN博客
Faceswap使用教程_face swap-CSDN博客
AI换脸软件DeepFaceLab本地安装使用教程AI视频换脸详细步骤 - 知乎
最强的AI视频去码图片修复模型CodeFormer-CSDN博客
Pytorch 最全入门介绍Pytorch入门看这一篇就够了 - 知乎
【深度学习】PyTorch基础入门爆肝2万字_柒筱暮的博客-CSDN博客
https://download.csdn.net/download/qq_30920479/88059273?spm1001.2014.3001.5506
