最近在学习stable diffusion model,但是这个模型成本比较高 作为低端学习者 借助colossal-ai加速训练 即能满足显卡要求又能节约时间。

Colossal-AI 是一个集成的大规模深度学习系统 具有高效的并行化技术。该系统可以通过应用并行化技术在具有多个 GPU 的分布式系统上加速模型训练。该系统也可以在只有一个 GPU 的系统上运行。

Colossal-ai的安装

创建虚拟环境

conda create -n colossal python 3.8

注 这里的“colossal”是虚拟环境的名字 想怎么改就怎么改

创建成功进入该环境

conda activate colossal

接下来一步是安装pytorch

pip install torch 1.12.1 cu116 torchvision 0.13.1 cu116 trochaudio 0.12.1 --extra-index-url https://download.pytorch.org/whl/cu116

 

这样就安装成功torch环境了。

接下来直接安装colossalai

pip install colossalai

安装成功

给一下Colossal-AI开源包的github地址: GitHub - hpcaitech/ColossalAI: Making big AI models cheaper, easier, and more scalable

下载并解压缩 进入ColossalAI/ - examples/ - tutoriall/ - hybrid_parallel/

这个文件夹里面有两个用于训练的文件config.py 和train.py。

在训练之前我们需要安装好当前hybrid_parallel目录下的依赖

pip install -r requirements.txt

接下来就是测试训练了

colossalai run --nproc_per_node 4 train.py --config config.py

表示在当前节点上启动4卡训练 使用默认端口。

小编是在集群的服务器上测试的 所以通过slurm启动colossalai

这一步具体参考这篇文章 启动 Colossal-AI | Colossal-AI (colossalai.org)


是一个集成的大规模深度学习系统，具有高效的并行化技术。最近在学习stable diffusion model,但是这个模型成本比较高，作为低端学习者，借助colossal-ai加速训练，即能满足显卡要求又能节约时间。下载并解压缩，进入ColossalAI/ - examples/ - tutoriall/ - hybrid_parallel/小编是在集群的服务器上测试的，所以通过slurm启动colossalai。注：这里的“colossal”是虚拟环境的名字，想怎么改就怎么改。 复制链接
attributeerror:module ‘Keras.backend‘ has no attribute ‘is_tensor‘ 366
attributeerror:module Keras.backend has no attribute is_tensor CSDN-Ada助手: 恭喜你写了第三篇博客！看到你在解决问题上的不懈努力真是非常值得称赞。关于你遇到的问题，我认为你可以尝试查阅更多相关的资料，或者尝试寻求帮助，比如问问其他有经验的人，或者在社区论坛上发帖求助。希望你能在接下来的创作中继续保持努力和热情，相信你一定会取得更多的进步！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4 header=0 utm_source=csdn_ai_ada_blog_reply3


抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

更多文章请关注《万象专栏》