数据中台目前都是怎么的技术架构

[zhuwd]

公司也要搞所谓的数据中台了，想少踩几个坑，向 V 友们请教学习

[murmur]

你们有啥数据要搞中台啊，这玩意不就是把各种数据库还有数据分析工具揉一起么

叫中台的关键是要做数据治理，很多数据要统一管理统一提供，做不到这个就别中台了

大数据有大数据分析，中台更侧重一个管

[menyuguren]

微服务 分布式 基本都是这些玩意，上个东家做过一个

[xieshaohu]

中台最终要的是数据开发治理工具+结合业务现状和数据使用场景的数据治理方法论，在这里面工具反而是次要的。

[id4alex]

中台？ 就是阿里吹的中台？

[zhuwd]

@murmur #1 是要做数据管理，收集汇总集团各二级甚至三级子公司业务数据，然后做分析和治理

[zhuwd]

@id4alex #4 是的，现在这阵风吹到我们领导这了😅

[yimiaoxiehou]

版本严重滞后，不过是好事，搭中台花一两年，拆再花一两年，这三四年工作稳了.jpg

[awalkingman]

怎么的技术架构？ 怎么的？

[zhuwd]

@yimiaoxiehou #7 请教大佬现版本都是怎样做数据分析和管理的，有什么好的实践思路吗

[zhuwd]

@awalkingman #8 错别字，手滑了😂

[murmur]

@zhuwd 跟 N 多公司交流过，没个两三年不要想看到成果，各种扯皮扯死你，我有的数据凭啥就交出去对吧，每个公司都会这么想，层次越复杂扯皮越麻烦

[hshe]

我这里的中台是 springcloud+es （聚合结果输出）+spark(计算引擎）
页面通过各种拖拉拽生成数据清洗分析作业

[iphantom]

@zhuwd 『是要做数据管理，收集汇总集团各二级甚至三级子公司业务数据，然后做分析和治理』？ 你管这个叫数据中台？ 数据集市 数据仓库 是不是更合适 随便收集把 水到桥头˙自然直

[meiyiliya]

我司用的 dataworks + quickbi ，前者就是从某几个地方抽数据、然后进行数据分析、再将底层数据汇总提供更高层次的数据，后者就是把前者汇总的数据进行展示，对业务开发来说基本零负担，就写普通 SQL 差不多，报表就低代码拖拉拽，权限管控也很好，每个表都要申请 select 权限不说还需要按字段维度申请。

[fine886]

我觉得一楼的兄弟说得对，中台更侧重一个管理。对比传统数仓来说，页面更方便普通人员操作，我们公司现在的中台是把所有的表结构通过平台管理，通过平台可以实现表的创建、删除、修改等。表结构是统一从业务系统抽取上来，之后可以选择建不同类型的表，hive 也好，MySQL 也好，都可以通过平台创建。字段分为内部字段和外部字段池。脚本也是在脚本管理里面统一管理，被一个所谓的"过程"所调用。所有业务系统的数据库地址，密码等统一放在数据源管理下面，方便被脚本和过程引用。其余的功能就是数据稽核，监控平台，查看日志，调度平台等。调度平台直接就是调用的 dolphinscheduler 组件，通过 dolphinscheduler 的调度功能统一调用平台创建好的所谓的"过程"来实现自动化流程。

[brant2ai]

有没有做非结构化入湖的案例诶

[chendy]

刚被折腾完，现在汇报材料里已经禁止出现中台字样了

[zhuwd]

@iphantom #13 叫数据中台确实是有点勉强，毕竟是领导定义的我们也就这么叫了。数据收集只是第一步，然后要清洗和分析，也要做一些开放接口提供给其他业务系统

[zhuwd]

@hshe #12 这个思路也挺好，感谢大佬🙏

[zhuwd]

@fine886 #15 干货满满，感谢分享！🙏