大数据领域的各种概念从技术角度思考是不是一种伪技术?

258 天前
 LeeReamond

如果有利益相关,首先抱歉,以下只是个人想法。

最近工作需要在 B 站狂看大数据相关的网课,里面将具体实践之前先给你来一大套概念,什么“什么是数据库,什么是数据仓库”,“数据仓库有什么优势”,“ELT 和 ETL 的区别”,“数据治理的好处”等等,看的头都要大,问题是你这有什么好玩概念的,在我们开发人员看来不就是你提了一个数据分析需求然后我去把它实现的过程,数据不就是采集、存储、分析,这是自然而然的过程,难道还能反过来?就这还能新搞个概念在大学里讲好几个小时车轱辘话。。。

问题是,我想起来不光是网课这么讲,我当初在学校学过大数据的课也是这么讲的,只不过当时没在意细节。。。

我看视频的时候真的怀疑,这些年吹得这么火的大数据生态是不是有很大的伪技术成分。当然不是说 hadoop 和 hdfs 生态这些东西不够技术,它们当然足够深入复杂,且有良好应用,但问题在于,真正的实践工程师在某些专业视角里看压根就不是做大数据的,起了一大堆名,偏重实务管理的叫你这是“数据管理工程师”,然后上面还有一堆什么“信息管理工程师”之类的,人家负责更高等级的抽象,反正别人怎么想我不知道,我理解就是产生了一大批实际上没啥技术的,但是谈技术能谈得头头是道的“技术管理人员”

要我说各个新兴技术都有炒作成分,社会层面产生需求,但是实际落实跟不上,然后产生出一大批大儒辩经来填充,即使没有炒作,各种技术也确实有高层抽象概念,像 OSI 有七层模型,WEB 技术有 MVC 和 MVVM 模型,学技术的同时学点概念也挺好。再进一步的稍微过分一点的,比如深度学习领域把 MAX ( 0 )起个名叫 ReLU ,改了名以后瞬间高大上起来,因为确实好用大家也就忍了,我是真的感觉大数据领域这些概念纯粹是在那辩经。。。讲课的时候遇到个老师快速跳过了那还好,万一遇到个实务没讲多少,天天在那给你掰扯概念的老师,不知道别人怎么样,我反正是受不了了。

2029 次点击
所在节点    程序员
22 条回复
Braisdom
258 天前
非常同意,大数据技术产生的本质是传统数据库的计算效率太低导致的,引伸了很多概念,搞的非常复杂。
有兴趣的朋友可以看一下 https://www.agiquery.com

Agile Query 就是让传统大数据开发变得简单,哈哈
sampeng
258 天前
so 。。。你跟业务部门解释处理过程是:“我要清洗数据,转换成 xxx 数据结构,然后再巴拉巴拉”,还是跟领导一句话说完:“做一下 ETL 处理数据”?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1022597

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX