最近在尝试用 Dreambooth 对 NovelAI 进行微调。奈何 webui 提供的扩展实在太不稳定,训练不到 10 个 step loss 就发散了。
之后我尝试使用 diffusers 训练,但 diffusers 使用的模型格式并不是 ckpt ,和 NovelAI 不兼容。尝试使用网上提供的第三方转换脚本进行转换,结果无一例外模型都坏掉了,生成一堆五颜六色的雪花图。HuggingFace 倒是的确提供了转换脚本,但不支持 NovelAI 的 ckpt 。
我给官方提供的其中一个转换脚本打了 patch ,成功转换出正确的模型,之后又花了半个通宵魔改用例做出了这个脚本。
如题,这个小工具主要功能就是把 ckpt 格式转换成 diffusers 格式,特点如下:
https://github.com/Sunbread/Ckpt2Diff
如果要使用 Dreambooth 以人像为样本进行微调,建议遵循如下指南:
https://huggingface.co/blog/dreambooth
其中有一条是使用 DDIM Scheduler ,这个你得在转换时就设好。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.