看这波裁员, AI 和大数据这股风估计要凉了

2022-11-05 16:41:32 +08:00
 shijingshijing

一亩三分地上面,从推特开始,好多公司的 DS 组都是被一锅端,想想一两年前,大数据是多么的热门,今天完全是另外一副景像了。

9142 次点击
所在节点    程序员
43 条回复
happylty
2022-11-05 22:48:29 +08:00
游戏适合搞这个,比如 GTA6
kwh
2022-11-06 03:20:07 +08:00
@YDCHYD AI 用没的,因为语言变化千万形式的。
pefan
2022-11-06 06:49:48 +08:00
DS 和 AI 还是有区别的,不过这两个方向本来就是很多所谓转行的目标方向。南郭先生们扎堆的部门,被裁了正常。
xuanbg
2022-11-06 07:23:02 +08:00
不能创造价值,无法提供实实在在的利润,故事讲到老板的耳朵生茧……

其实不是大数据和 AI 没用,而是讲故事的人过于夸大大数据和 AI 的作用。踏踏实实地发展不好么?
glfpes
2022-11-06 07:32:51 +08:00
大数据最终落地到生产的系统,无非是搜广推。只有大公司玩得开这种业务。大公司岗位有限。
大量从业人员只能去小公司,小公司甚至都没有这种数据与业务场景。

这个行业不需要这么多从业者。
subing
2022-11-06 09:40:38 +08:00
@YDCHYD 语言博大精深,每天都有不同的变种词和黑话,对你而言如果错误 0.00001 ,对于平台就是 100%的损失,腾讯阿里大厂都在做,每天从各种 rh 媒体更新训练集,但效果依旧不如人工
zscself
2022-11-06 10:55:34 +08:00
@subing 人工审核在我看来最大的优势就是有人“背锅”,AI 审核你找谁背。。。
tairan2006
2022-11-06 11:26:36 +08:00
大数据和 ai 在 b 端业务上用处很大,能确切提高生产力的。c 端业务本来能做的也不多,多半还是搜广推。
nightwitch
2022-11-06 11:44:14 +08:00
@YDCHYD https://main.qcloudimg.com/raw/document/product/pdf/1184_41710_cn.pdf
这种现成的方案太多了。。现在基本没有纯靠人力的审核了,都是先 AI 过一遍
Torpedo
2022-11-06 14:09:52 +08:00
大数据最好还是去做广告系统。别的变现都很有问题
youyang
2022-11-06 15:18:58 +08:00
fuxkcsdn
2022-11-06 15:52:38 +08:00
想起前公司大数据部门 10 来个人(最低工资 30K ),做的就是一个大数据运维的活,技术总监自己半桶水还不听劝,吃饭的时候旁及侧推跟他提过大数据部门水得很,不听。一年下来可能请一个大数据运维 2 ,3 个月就能搞定的事,结果最后大数据一年半的时间就整出了个数据同步方案。(同步 sql 还是我们整理给他们的)

最后大数据部门只留了 2 个人。这 2 个水货连 sql 批量插入和单个插入的优劣势都不懂,一个数据同步他们搞了半个多月,让他们改成批量插入半推半就的,最后给他们伪代码才愿意改,改完同步时间从 2 小时(期间 100%出现死锁报错)缩减到 4 分钟(基本不出现死锁)

一个部门耗费了技术部门 50%以上的经费还只做了 1 、2 个大数据运维该做的事,也就技术总监技术水平太次才能容许他们

P.S. 之所以要用批量插入同步而不是 binlog 同步,就是因为他们一用 binlog 同步就把 rds 给整到 cpu 100%,其他业务都被他们给搞垮了
wa007
2022-11-06 20:40:09 +08:00
AI 算法调好之后,把人裁了算法依然能跑,AI 人才的边际效应变小了,所以大幅裁员。
相比之下,开发的边际效应没有变小很多,裁的比例就没那么高。
wa007
2022-11-06 20:41:39 +08:00
@fuxkcsdn 典型的老板被唬住了
sshang
2022-11-06 23:06:50 +08:00
大数据工程师其实是这波数据浪潮( web2.0 以后)延伸出来的岗位,在『小数据』时代毫无疑问也是有很多数据工作岗位的,只是那时候大家可能都是玩 DBA ,玩 tableau 数分这些东西。

随着 2003 ~ Google 的三篇文论问世,基本上是开启了大数据时代,代表作品如 Hadoop 、HDFS 、HBase 等,以及后来催生出的 ES 、MongoDB 、TiDB 等一系列划时代的存储系统。这波开源真实太给力了,直接搞出来了相当多的生产级可用的 Information System ,也进一步催生了 AI 以及后来的推荐、搜索技术。

现在的问题是,由于这些软件太成熟了,很多大数据工程师也和和很多 AI 工程师一样,沦为『调参侠』了,改改 Hadoop 的系统参数,做些简单的系统运维( Cloudera 提供了相当完善的大数据运维体系),或者写一些简单的 ETL Job 。

如果长期是这样的工作内容,大数据工程师很容易被替代,就像 AI 浪潮褪去一样。所以我的观点是,不论你是做 AI 还是做大数据,首先你得是个 Software Engineer ,要有相当过硬的工程技术,然后才是去谈所谓的大数据、算法,如果你连基本的计组、分布式、存储计算基本原理,Linux 、主流数据库、网络 IO 都没搞过关,就上来年复一年、日复一日地当个大数据 /AI 调参侠,那不淘汰你淘汰谁?
YDCHYD
2022-11-06 23:51:24 +08:00
@kwh 所以我说了前提是技术过硬 皮毛技术肯定是不够的
YDCHYD
2022-11-06 23:52:41 +08:00
@subing 所以我说了要技术过硬 又不是指套敏感词库这么简单
shiyanfei5
2022-11-07 01:02:50 +08:00
针对大数据想说下,要看下大数据的需求方是情况的。。有些企业裁员运营、数据分析等业务人员都整组端,你的需求方没了不裁你裁谁,这无关乎技术。
Mrun
2022-11-07 11:35:59 +08:00
@YDCHYD #19

没啥用,前几个月,已经用伞兵来代替了,有本事你平台把这个词给**了。
subing
2022-11-10 20:53:58 +08:00
@YDCHYD 敏感词库是一方面,更多的是多个字组合起来的阴阳怪气效果。这种目前的模型识别率还是不行,当然为了 1%的错误,多夹 100 个人也无所谓,目前微博就这个状态

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/892927

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX