人生第一次用显卡炼丹，特来发个贴

[villivateur]

今天在 GitHub 上看到了 faceswap 这个换脸项目，兴致大发，在自己的 1070 Ti 显卡上试了一番。这个项目不错，感觉真的是把机器学习做到了开箱即用了。

于是我尝试把女朋友常跟着跳舞的 UP 主视频，那个 UP 主的脸换成我的脸，丧心病狂地准备让她看着我跳舞，哈哈。

现在还在跑模型训练，预计要……两三天，1070 Ti 这么拉垮了吗？我都闻到糊味了，话说搞机器学习的人都经常要等这么久吗？

[Merlini]

深度学习实验室都用的 tesla v100 那种比较贵的卡吧，关键贵的卡可能也得跑几天，或者 google 的 tpu 。
不是 1070ti 拉，是算力要求太高了。

[villivateur]

@Merlini 话说如果不求质量的话，模型训练到一半停下来也能用？

[vopin]

不清楚具体，一般用别人训练好的模型 inference 很快的吧，你这个必须从头训练吗

[Merlini]

@villivateur #2 对的，处理好 keyboardinterruptexception 能保存下来就能用。其实一开始的模型里面的 vector 全随机也能用，只是效果不好而已，训练的过程就是让模型里面的 vector 更逼近理想的结果。现在单纯用的话都是 fine-tuning 多，不需要训练那么长时间了，有些是完全不需要再训练直接开箱即用。

[hertzry]

找找有没有预训练好的模型参数，直接下载下来。

[ekidona]

我这边做真正的 training 一般是提交一个 kubeflow pipeline 到 aws 上，然后通常会拉起几十个 worker ，几百个 GPU 啥的。

[ekidona]

当然 train 一次都是几万刀的电费

[netnr]

源动力实足

[yaphets666]

我们是 5 张 3080

[vicalloy]

机器学习很大程度上是算力的比拼，就是烧钱。
个人玩一般都是用预训练好的模型吧，为啥要自己从头训。
对 faceswap 不熟，你应当只是用预训练好的模型做推理吧。

[villivateur]

@vicalloy
@hertzry
这个项目，如果你用自己的脸，就得重新训练，因为他的模型就是脸 A 到脸 B 的转换

[lizytalk]

小数据测通模型，再跑大数据，等大数据结果的时间干别的

[pydiff]

用了 4 张 v100 ，所有卡都是吃满状态，算了 17 天了都还没完，这玩意太耗性能了

[necomancer]

1920x1080 是不行的，你试试 64x36 ，缩小 G 和 D 的 filter 个数，把 64 ，128 ，256 ，512 换成 8 ，16 ，32 ，64 ，训练起来就快多啦～无非是糊得抽象些，加油～

[necomancer]

卧槽我看了一下难道 faceswap 本来就是 64x64.....上 32x32 ？糊成头像(￣▽￣)

[RatioPattern]

1070 系列当时镁光显存有质量问题，炼丹可能失败或者偏离太大可以往这方面考虑，已经踩坑..............

[shm7]

所以，糊了没？

[villivateur]

@shm7 糊了，满地狼藉

[shm7]

@villivateur 允悲。用 gpustat 或者 nvidia-smi 监测下使用率和温度，真的很考验散热。