算法工程师的工程能力问题

225 天前
dododada  dododada

最近在招算法,发现一个问题,不知道是不是我的认知问题,请教一下兄弟们。

据我了解,算法分为算法研究,算法前后处理,算法工程部署等等。

最近面试的一些算法,研究能力并不突出,自己从 0 到 1 研究过模型网络,做过完整模型的就一个,其他的都是开源模型+数据集训练部署,然后就这一个,表达沟通能力还有问题,总是用“这个”, “那个”来表述一些术语,听的我们云里雾里的

很多算法工程师训练+调参做到 onnx 就结束了,然后还有的就只是负责 dll 的转化,前处理后处理什么的,很少有做过四层网络+服务器+应用+算法+部署整个流程的

我知道算法的工作内容繁多,除了算法本身可能也没有精力了解其他内容。

但是,搞计算机的,真的是只负责自己的那一小块么?

8929 次点击
所在节点   程序员  程序员
83 条回复
Ricardoo
Ricardoo
225 天前
结合我自身工作经历给你说说吧。
1. 首先,现在定义的算法工程师=机器学习算法工程师=深度学习算法工程师,不是指工程能力很强的那种算法工程师
2. 在算法工程师行业,我们又会细分为应用算法工程师和更偏理论偏基座的理论算法工程师。无论哪个方向,数据预处理、训练、优化、部署。都是基本功,但是这种基本功都指的是调包。前面每一个环节深入进去,都是另一个工种,比如,部署推理加速,要会 cuda ,会写算子,这个工种了解不了解算法理论就没那么重要了。
3. 其中应用算法会更侧重业务拆解,将问题转为算法问题,所以在实际工作中会要求写一点业务代码。一般由工程团队包好框架,我们实现关键的业务逻辑,不需要太牛逼的模式设计,你做的再好能有在工程领域浸淫好几年的工程团队打的框架好吗。理论算法工程师就更务虚一些,干好自己的一亩三分地,发发 paper ,打打榜,给前者提供下 base model ,所以前者在大厂里占了绝大部分。
4. 对于你说的其他部分比如网络,服务器之类的。全看算法工程师个人爱好了。精力有限又确实用不上。
PaoPao2020
PaoPao2020
225 天前
@dododada #36 这价格确实低了,能回答你上面的问题的人,起码 60 70 以上了,现在失业率不至于吧
smdbh
smdbh
225 天前
我理解算法工程师能 pc 上调通就可以了,主要是算对,代码能力忽略不计,工程化的东西都软件做。
SenseHu
SenseHu
225 天前
年 40 能指导团队 还要能干活。。。
你找几个猎头问问行情呗, 先做下市场调研
jimrok
jimrok
225 天前
工程确实有自己的一套理论,否则为什么台积电能做出 3 纳米,而 intel 做不成。理论大家都知道,但工程上的问题就多了去了。算法能给你把模型跑出来,但要变成应用,还得保证性能,就完全依赖工程部分的能力。
dododada
dododada
225 天前
看来还是价格的问题啊
wxiao333
wxiao333
225 天前
优秀的算法工程师 就没有低端的,算法门槛高,而且主要需求在大厂,你知道 在大厂很多人就负责一小块东西,生产环境都摸不到,更别说工程化了。
yunpiao111
yunpiao111
225 天前
算法工程师, 又不是算法研究, 这种计算机常识都不会的, 是不应该称为工程师的
DeWjjj
DeWjjj
225 天前
肯定是价格问题,想要一个研产一体的工程师,凭什么别人来呢?
这种高端货色,基本上在就业市场上出了就秒无,还想简简单单通过招聘来招到。
luny
luny
225 天前
公司有研究院,有做基础研究的,也有偏工程的,分的还是比较细,我们都叫 R ( researcher ),具体业务 BG 的,研发都叫 Dev ( developer ),负责具体工程落地。
dayeye2006199
dayeye2006199
225 天前
你说的几样东西都不难,调调包就行了。

难的是掉包有问题的时候,怎么解决。推理 QPS 上不去怎么办?训练 GPU 利用率为什么这么低?为什么 onnx 不支持我的模型?
能回答这些问题的人,都非常不便宜,而且基本只有大厂里面有。

原因就是培养这样的一个人出来,需要很长的时间(领域深,东西难学),很贵的资源(大量算力)。这部分沉没成本会加到招人的成本里面去。
vicalloy
vicalloy
225 天前
0 到 1 研究过模型网络。这个得要算力,没有算力根本没有做验证。
在我看来对于一般的小公司,训练+调参已经是极限了。
在没有足够算力的支持下自己设计的模型要比开源模型优秀的概率几乎为 0 。
另外就 GitHub 上深度学习的项目看,大多算法工程师的工程能力确实比较弱,毕竟方向不一样。
vicalloy
vicalloy
225 天前
AI 公司还有一个工作,模型的适配。
比如找了个开源模型,无法按常规方式转换成目标推理框架,这时候要对模型做一些适配工作。
不过这些都是很工程化的工作。
简单来说:在我看来在缺乏算力支持的小公司,涉及的训练、调参、模型适配等一系列工作都和算法没多少关系,都是很工程化的东西。换句话说,下公司用不上真正的算法工程师(特指深度学习的算法工程师)。
tfdetang
tfdetang
225 天前
LZ 得这些需求可能大厂出来得反而不可能做到。 像我们小厂出来得,其它研发都是 Java 得,基本所有东西都自己来。 产品+算法研发+MLops+办公室撕逼;
整套流程和 java 的都不通用,刚开始的时候运维经常把机器丢给我们自己去搞
EdmondGUO
EdmondGUO
225 天前
@dododada #33 现身说法,因为算法在小公司几乎没有太好的落地场景,所以基本上算法岗都集中在大公司,推荐、广告、NLP 、CV 这几个方向。37k 的话,20 年我毕业的时候算是 ssp 一档的,现在可能不需要 ssp 了,可以去 offer show 上看一看。
另外根据我这几年的经验,大厂的算法工程师可能满足不了你的需求,一来薪资太低,我校招时候的总包就不止你开的那个数了;二来大厂算法工程师领域太细分了,你说的很多工作都是给工程架构的同学做的,算法同学特别是业务的同学是要为线上指标负责的,没人闲的蛋疼还去学工程的活儿,通常需要的技能是在现有的架构下训练部署模型+开发一些线上的业务代码+有 sql 分析数据的能力。比如我现在还不怎么会 java 的 springboot 这种跟部署服务相关的东西。
dododada
225 天前
@EdmondGUO 听君一席话,如听一席话,总归一句话,薪水不到家啊!我去和 hr 讲一下这个事

有没有工业领域的兄弟,讲讲你们的算法啊,海康、比亚迪、奇瑞、宝钢、上汽、华虹的兄弟们
zzzlight
225 天前
据我所知 海康 40 个的包也就招招开发,我们这去海康开发 30 上下了也 海康研究院那些你得×1.5 ,小点规模厂你的价格或者 title 更要给足,不然别人真不愿意来。
zzzlight
225 天前
海康给刚进的算法应届生都 28*15 而且基本上能进的又嫌低不愿意去。
wupher
225 天前
钱少了

想要指导工作又能上精下博,至少得百万包了。
dododada
225 天前
十分感谢兄弟们的教诲,看来还是我对这个岗位的认知太浅薄了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1043434

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX