机器学习的数学基础，包含哪些内容

[James369]

机器学习中有很多算法依赖高等数学才看得懂。

那么这些数学一般分为哪些课程？
是否有必要专门针对性的学习下这些课程？ 比如花个 2 年时间去投入。或者有什么相关的资质认证考试去考一下。

[murmur]

你如果大学的概率论 微积分 线性代数这些都能考到 90+ 不是突击的 那还是有突破炼丹可能的

最基本的数学都看不懂 那论文更白扯了 还是专心炼丹吧

工程跟理论还是有点差别，数学只是保证你能看懂，论文还是要看，一个巨复杂的公式，这个影响小舍掉，这个忽略不计，这个可以换掉，改来改去最后就能用电脑求解了

[James369]

@murmur 你这么一说也对，机器学习即属于学术范畴也属于工程应用，所以不知道如何有效的去学，到底是要学数学，还是学各种框架呢

[murmur]

@James369 学数学一是基础，二是直接劝退不适合的人，我认为数学是真的看天赋，不是谁随随便便就能学明白的

[jmc891205]

https://mml-book.github.io/

[IgniteWhite]

咱不讲空话，就看任何机器学习的第一课：高斯过程。里面有这几个数学上的东西，我本科数分线代常微分方程概率论都没具体讲过，学的时候是自己推了一段时间：

矩阵的求导
多变量高斯分布的协方差
知道高斯分布的 prior，怎么推贝叶斯的 posterior 概率分布
如何理解无限长的向量等同于函数

把这些搞通了，算是能理解高斯过程了。机器学习算是入门

[IgniteWhite]

资质认证就是本科考试吧，现在有讲概率机器学习的专业，一半会把这门课放到大三下大四上，大一会学我在五楼提到的那些数学基础课。不知道楼主基础怎么样

[IgniteWhite]

我业余学习的感受是，框架和数学也是分不开的，不管你用 tensorflow 还是 pytorch，你训练一个模型的本质是从 prior 求 posterior，用 marginal likelihood 等等做评估。这些概念会频繁出现在框架 package 的文档里，要是数学上没啥谱，连方法名都看不懂，别说参数的解释了

[IgniteWhite]

@jmc891205 看了一下，这本书真不错，把本科工程专业数学课和机器学习之间的空当基本填了

[A3m0n]

http://jbcz.tv/

[futou]

如果指的是是深度学习，实际上能手推反向传播已经超过 80%宣称自己会深度学习的
如果指的是传统机器学习，能把贝叶斯公式写对也能超过 80%宣称自己会机器学习的
这个方向门槛太低，什么人都有，而且是结果导向，基础不值得深入学习。上上网课，把基本原理搞懂，就已经超过绝大多数人了。除非想引领潮流，那需要好好学。
非得想搞个资格认证，我记得 coursera 等都有听课证书。

[chizuo]

@IgniteWhite 老哥你是不是在读 PRML

hhhh 好奇好奇

[cmostuor]

@murmur 不然机器学习这行为啥那么高薪 其实数学不难但数学公式看着真让人眼花

[IgniteWhite]

@chizuo 我去这都能被发现，我的确在学 bishop 组里 ramussen 开的课，讲义应该和 PRML 差不多

[IgniteWhite]

@chizuo hmm rasmussen 并不是 bishop 的学生，他们都在剑桥我以为有关系的……总之我在旁听一个本科生课程

[necomancer]

linear algebra
vector calculus
tensor algebra
measure theory and probability (modern probability theory & random processes)
functional analysis
以及其必备基础知识。推荐 SUMS 系列，先找这些的书，然后看序，作者会说必备基础知识是什么。虽然不做具体研究的话不用太深入，但基础概念和一个很宏观的知识脉络必须有。

[LYEHIZRF]

考个研 考研数学过了就没什么问题

[jiyuanz]

@necomancer 另外加个 convex optimization

[huzhikuizainali]

@murmur #1 炼丹我知道。请问什么是“突破炼丹”？