Ckpt2Diff：适用于 NovelAI 等 ckpt 的傻瓜式 ckpt 转 diffusers 脚本
Sunbread · 2022-12-14 13:28:27 +08:00 · 1787 次点击这是一个创建于 508 天前的主题，其中的信息可能已经有所发展或是发生改变。
引子
最近在尝试用 Dreambooth 对 NovelAI 进行微调。奈何 webui 提供的扩展实在太不稳定，训练不到 10 个 step loss 就发散了。
之后我尝试使用 diffusers 训练，但 diffusers 使用的模型格式并不是 ckpt ，和 NovelAI 不兼容。尝试使用网上提供的第三方转换脚本进行转换，结果无一例外模型都坏掉了，生成一堆五颜六色的雪花图。HuggingFace 倒是的确提供了转换脚本，但不支持 NovelAI 的 ckpt 。
功能介绍
我给官方提供的其中一个转换脚本打了 patch ，成功转换出正确的模型，之后又花了半个通宵魔改用例做出了这个脚本。
如题，这个小工具主要功能就是把 ckpt 格式转换成 diffusers 格式，特点如下：
- 适用于 NovelAI 等 ckpt
- 傻瓜式（不需要命令行参数，直接运行遵照指示操作）
- 只能把 ckpt 转成 diffusers （转回来应该问题不大，用官方脚本就行）
源码
https://github.com/Sunbread/Ckpt2Diff
BTW
如果要使用 Dreambooth 以人像为样本进行微调，建议遵循如下指南：
https://huggingface.co/blog/dreambooth
其中有一条是使用 DDIM Scheduler ，这个你得在转换时就设好。
第 1 条附言 · 2022-12-14 15:52:57 +08:00
转出来的 diffusers 模型默认会带一个河蟹器，这个只需要在 model_index.json 里把 requires_safety_checker 关掉，feature_extractor 和 safety_checker 项删掉（同名文件夹也可以删了节省空间）就行
 |
1
codecool 2022-12-14 16:37:35 +08:00
赞，有什么方法把 deambooth 的训练出来的模型集成到 invokeai ？
|
Select Language