Kaggle 这类深度学习打榜网站上多模型刷分一般是怎么刷的？

[LeeReamond]

如题。工作有需要结合多模型效果来提点，但是不会搞。

以前有印象听说过 Kaggle 榜单前几名一般都是做好几个模型然后共通决策来刷分的，具体是如何操作的呢？

我刚才搜了搜特征融合这个关键字，不过感觉内容不太对得上，感觉特征融合这个领域考虑得比较多的是如何将一个单独模型内部不同层级的特征融合起来（而且找了几个项目代码看，好像最后说到底融合也就是直接加）

目前一个想法是，ABC 模型，提取特征后各自得到 A1B1C1 三个矩阵，然后直接把矩阵 concat ，再加位置编码，然后加注意力，然后 FC 这样？是不是太简单了

[emonber]

可以了解下 model ensemble

[bybyte]

集成学习了解一下

[dayeye2006199]

最简单的就是单独做三个模型。然后三个模型多数投票，两个以上判 positive 就 positive

Stacking 啥的业界基本用不到

[LeeReamond]

@bybyte 集成学习查了查基本都是机器学习的算法方面的东西，不太 DL

@dayeye2006199 回归任务呢，多模型取平均值感觉会导致性能下降而不是提升。。。

[dayeye2006199]

@LeeReamond 简单点就是取平均。复杂点可以加权平均

[LeeReamond]

@dayeye2006199 就没有点深度学习的方法吗。。Kaggle 不是很熟，高分源码能不能公开查看的？

[opeth]

Kaggle 算是机器学习打榜网站吧，深度学习只是其中一部分
这些比赛一般用的是 checkpoint ensemble
你最后说的那种想法，属于特征融合，要学习参数的，本质上相当于加大了网络容量，而且如果 ABC 模型的特征 domain 差距大的话，其实很难融合

[dayeye2006199]

@opeth 参考 moe 搞法