机器学习如何对已经上线的模型进行召回 & 重新训练

[SlipStupig]

问题一：我做了一个新闻分类器，在本地训练和测试的准确率是 70%，我上线之后，如何评估线上的准确率呢？

问题二：假设我有一些类别分错了，我想定期自动分拣出错误的结果，然后加入到训练模型里面重新训练，然后再上线（相当于一个自动召回系统？）

[shikimoon]

问题一不说了，问题二不一定总是有效

[classyk]

在线学习 online learning 了解一下

[SlipStupig]

@shikimoon 结果是 1 和 2 我都不知道该怎么办。。

[SpencerCJH]

有请算法工程师登场 (逃

[paopjian]

线上准确率不就是接着打标签再算吗？

[sethverlo]

1. 打日志就行了嘛…

2. 看你用的是什么框架啊，有的框架不支持 continue training 的，比如说 fasttext

（其实 fasttext 支持 unsupervised 的再训练，但我用的是 supervised learning

[SlipStupig]

@sethverlo 框架用的是 sklearn，日志确实能知道分类结果，但是我如何知道哪些是正确的哪些是错误的，如果数据过大靠人工似乎不现实。我想的是有没有一个相对自动的一点方案能让我分拣出漏报和误报的样本，然后让我重新进行训练，类似汽车召回一样的机制。

@paopjian 比如我又 100 个样本以及被分类了，我离线的时候可以划分测试集和训练集，线上实际生产环境如何划分呢？我如何知道哪些被分错了的，并纠正然后继续训练？

[SlipStupig]

@sethverlo 还有一种情况就是加入了新的样本，进行增量训练

[razrlele]

Q1:
可以用 AUC 来衡量离线在线指标。

Q2：
定期更新模型。

[shikimoon]

@SlipStupig 你这是想当然了，把识别错误的 case 加进训练集重新训练效果就能变好，那一直加 acc 不是变 100%？

[Xs0ul]

线上如果没有用户反馈给你标 label,没法知道预测是对是错. 不然你把这套流程移到输出之前,岂不是凭空提高了准确率

[paopjian]

你要想在线学习我建议走 deeplearning，不用打标签，你这也太理想化了，监督学习引入非监督变量，那怎么判错？

[SlipStupig]

@paopjian
@Xs0ul
@shikimoon

感谢各位指正，这方面我水平不够，确实走入了误区。想请教一下各位，实际生产环境中模型上线了之后如何进行优化，有没有什么流程性的东西可以指点一下？

[HankAviator]

1. 看你关注的指标，AUC，lift，误分类率都可能用得上。
2. 持续训练是成本最低且现实的方案，主流企业也都是采用这个办法。样本量够大就足以生成令人满意的模型。

[HankAviator]

另外采用复杂算法（集合树）相对简单二分类树可能有更好的效果

[HankAviator]

上线模型一般都做周期性检验，然后测试环境跑一下，没问题就迭代到生产。引入尽可能多的变量也会有帮助（如果成本允许）

[SlipStupig]

@HankAviator 问一个小白问题，指标该如何选择？

[paopjian]

建议看一下 Hands － On.Machine.Learning.with.Scikit － Learn.and.TensorFlow。里面的机器学习方法都有讲，你这个 70 正确率也不是太好的

[Mrpasserby]

你需要收集日志

[t6attack]

现实生产环境中，比如 预测金融市场、预测天气，都是用事实结果作为新数据持续训练的。
你这种，事实结果只能人工判断。没有其他办法。如果有，那就形成了逻辑悖论。如果有其他“非人工”方式可以知道分类结果是否准确，为什么不直接用这个方式进行分类呢？