数据中台目前都是怎么的技术架构

26 天前
 zhuwd
公司也要搞所谓的数据中台了,想少踩几个坑,向 V 友们请教学习
6695 次点击
所在节点    程序员
55 条回复
Govda
26 天前
啊 这风不是都吹走了吗
huBane
26 天前
中台就是一个噱头,当前公司跟风搞过失败了,留下一堆乱摊子。
wa007
26 天前
中台是为了降低新业务接入的成本,但随着行业走下坡路,新业务变少,中台的意义自然就降低了。
he123
26 天前
产品分为离线和实时,
数据的离线同步和实时同步,入湖等
基于 flink spark 对同步的数据做计算,分析,提供各种报表,业务分析决策依据
元数据的管理,如血缘解析

代码结构
平台层 调度层 计算引擎层
lambdaq
26 天前
中台中台,一中一台,这玩意核心的是面向岗位安全编程。怎么耦合怎么来,最好全公司最赚钱的流程都套上。这样没人敢开你。
hui9000
26 天前
看公司有多大的投入了
对于老板来说就是想看各种报表还有数据大屏。基本上 90%的公司做到这就截止了。
逻辑来说就是将业务数据汇总到数据中台中进行计算、展示、输出等
数据汇集包含离线的+实时的。
离线的:数据抽取工具 sqoop+HDFS+Spark+Hbase
hui9000
26 天前
实时的:springcloud+kafka+flink+ClickHouse
lizy0329
26 天前
你知道数据中台是干什么的吗?
joetao123
26 天前
我们的方案是数据同步使用 datax ,数据存储和计算使用 cdh 的 Hive 和 Spark ,前端有可视化拖拽开发,生成开发任务,也就是 Hive SQL ,最后是将 Hive 中的数据导出到 Mysql 或者 ES 提供数据订阅服务。系统中也实现了 DAG 的任务流调度功能,用来调度数据采集、数据加工和数据导出任务。
tangv2
26 天前
反正没个几年搞不定,赶工的都一堆 bug
009694
26 天前
你们这风吹的延迟太大了。。 差不多是十年前的概念了 现在这个概念连阿里自己都不提了 不用了
LeegoYih
26 天前
去中台中。。。
tangqiu0205
25 天前
49 年入国军,18 年那会比较流行,现在都在去中台化吧。
dododada
25 天前
现在搞的是数据要素化,数据集市,这东西是政府牵头,大数据局+网信+通管+其他部门+企业搞的;

中台没见过,但是数据治理,首先你得有数据才行,你有异地多活么?你的多机房同步流量跑满 200G 带宽没?你量这么大,数据资产都散落在哪儿你知道么?哪些数据是有用的哪些是垃圾怎么分

这个活儿以前我们是属于运维中心的数据部门搞的,主打一个绩效无关,因为实在是不好弄。
bug51
18 天前
@zhuwd 楼主 公司发了工资了吗?还是跳槽了?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1046871

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX