Ckpt2Diff:适用于 NovelAI 等 ckpt 的傻瓜式 ckpt 转 diffusers 脚本

2022-12-14 13:28:27 +08:00
 Sunbread

引子

最近在尝试用 Dreambooth 对 NovelAI 进行微调。奈何 webui 提供的扩展实在太不稳定,训练不到 10 个 step loss 就发散了。
之后我尝试使用 diffusers 训练,但 diffusers 使用的模型格式并不是 ckpt ,和 NovelAI 不兼容。尝试使用网上提供的第三方转换脚本进行转换,结果无一例外模型都坏掉了,生成一堆五颜六色的雪花图。HuggingFace 倒是的确提供了转换脚本,但不支持 NovelAI 的 ckpt 。

功能介绍

我给官方提供的其中一个转换脚本打了 patch ,成功转换出正确的模型,之后又花了半个通宵魔改用例做出了这个脚本。
如题,这个小工具主要功能就是把 ckpt 格式转换成 diffusers 格式,特点如下:

源码

https://github.com/Sunbread/Ckpt2Diff

BTW

如果要使用 Dreambooth 以人像为样本进行微调,建议遵循如下指南:
https://huggingface.co/blog/dreambooth
其中有一条是使用 DDIM Scheduler ,这个你得在转换时就设好。

1968 次点击
所在节点    分享创造
2 条回复
codecool
2022-12-14 16:37:35 +08:00
赞,有什么方法把 deambooth 的训练出来的模型集成到 invokeai ?
Sunbread
2022-12-14 17:53:20 +08:00
@codecool 不清楚,最近实在没精力搞了,连修三天的仙搞这个我要昏厥了,顶多修修 issue 合合 pr 的样子

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/902440

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX