crackhopper
2020-03-30 17:52:11 +08:00
听你这个像是 DL 的调参。说起来很多 paper 上讲的那些 story，差不多就是你需要回答的。可以结合实际项目来。我做的是普通 ML 的分析，最多工作量就是数据清洗，分析相关性，提取一些处理不好的 case 。调性能主要就是做特征，分析各种 case 。超参一般就 grid search 一下，不太像 DL 玄学调参。
针对你的问题，模型优化主要就是：1. 做数据，增强，清洗异常值等等； 2. 做特征，结合业务背景； 3. 讲一些 DL 常见 trick，优化过程里的梯度问题：BN 、ReLU 、跨层连接，局部化先验：conv，压缩：1x1 conv 也叫 matrix factorization，注意力机制的 trick ；结合业务可以讲一些优化，比如图像分割网络里面的连接方式就是为了 local+global 信息兼顾之类的，这些点都是可以谈的优化点； 4. 速度上和模型精简上也有很多优化可以谈，不过这个不是调参工程师的范畴，但基本的还是要知道的吧，quantilize 等等的； 5. 超参选择上还可以扯点 meta-learning 等等各种手段。6. 训练过程中的 lr 设定，pre-stop，诊断网络训练情况的手段和工具之类的。我觉得还挺能说一大堆的。虽然我不做 DL 。