@
b00tyhunt3r 不要觉得 DNN 炼丹是 AI 的全部。
以 W-GAN 为代表的模型，需要 Analysis、Measure Theory 和 Transportation Theory 进行理论分析和实践指导：
https://arxiv.org/abs/1701.07875Probabilistic models 需要 Monte Carlo methods 进行积分和采样，其中以 Hamiltonian Monte Carlo 和 Langevin equations 为代表的采样方法源自物理。HMC：
https://arxiv.org/pdf/1701.02434.pdf ，Langevin algorithm：
https://arxiv.org/abs/1103.0542。顺便，上次我看论文，有人提到了 HMC 有一个分支使用了黎曼几何，对就是广义相对论也用的那个。
说起黎曼几何，我上次看到有人用黎曼几何分析 VAE 学出来的隐空间：
https://arxiv.org/abs/1710.11379。可惜我不会黎曼几何，不然可以去看看这篇文章。昨天我实验室和我合作过的一个人说，他认为现行的 flow-based generative model （
https://arxiv.org/abs/1605.08803 为代表）有问题，因为在拓扑学里面，积分变量代换还能保证归一化是需要条件的。然而现在的很多研究者没有意识到这个，只用了微积分的思想设计的这个模型，所以它有漏洞。
嗯，黎曼几何的一个基础就是拓扑学。所以这位确实打算这学期学黎曼几何去了。
我五月份写了篇有关 VAE 的文章，在投，过几天出最终结果。理论分析部分用了变分法，虽然比较粗浅。对变分法，就是物理学家用来解那个最速下降曲线的经典方法。然后这篇文章在改，我加了一个小证明说明一个小问题，昨天还在扣测度论。
以上都是和我研究领域相关的，所以我比较熟。和我不相关的部分，我所知到的，对于神经网络的新的优化方法一直有人在做。这是个 fundamental 的数学问题，目前所用的梯度下降只是最浅显的。我所不知道的方面，估计还有很多。
----
所以你看，DNN 炼丹只是 AI 最外围研究人员天天干的事情，还有好多没有解决的内部问题，只是没做过的人没看到而已。