[云框架]SMACK 大数据架构,拿去跟大数据工程师谈笑风生!

2017-07-21 10:36:04 +08:00
 smarthadron

再谈大数据,光知道 Hadoop 显得有些捉襟见肘,SMACK is the new buzzword !

这是一种数据处理的技术组合,S 代表 Spark (引擎)、M 代表 Mesos (容器)、A 代表 Akka (模型)、C 代表 Cassandra (存储)、K 代表 Kafka (消息队列)。

面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战,SMACK 可以解决 Hadoop 等熟知技术无法解决的诸多问题,特别是物联网化、API 化趋势下 big data 向fast data转变所带来的新需求,以及大数据处理对于Data Pipeline的依赖。

[云框架]SMACK 大数据架构,在引擎层增加了Flink用于处理实时数据,使用Kubernetes替换 Mesos 作为容器层,以某网站数据为例,提供 SMACK 大数据框架的最佳实践,包括 SMACK、数据接入、数据展示在内的完整框架。

项目地址: https://github.com/cloudframeworks-smack/user-guide-smack

1831 次点击
所在节点    分享创造
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/376904

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX