目前有什么商用的大数据平台软件可用?

2017-02-05 22:31:58 +08:00
 snoopygao

只是稍微了解一些大数据的东西 hadoop mapreduce , spark , storm 那几家大的云平台公司貌似提供的都是租赁一个平台 有没有什么产品能部署在私有数据中心上,是直接部署一套 hadoop 或者 spark 就可以吗? 这里边的数据采集,数据分析,数据展现是不是都需要行业专业人员去开发?或者都是现成的东西?

5466 次点击
所在节点    Hadoop
11 条回复
GreatMartial
2017-02-05 22:37:54 +08:00
估计需要第三方来开发相应的应用
adrianzhang
2017-02-05 23:21:43 +08:00
这些组件本来就是可自己安装的,公司提供的是服务,比如根据你需求搭配不同的 hadoop 生态组件。数据采集可以直接配置,数据分析和展现也有一些解决方案,但都比较零散和 common ,一般要根据自己需求开发,尤其是建模这部分。整体商业解决方案还不成熟,但也有公司比如华为移动等给做,只不过价格就不是一般中小公司能承担的。参考:一个会维护 hadoop 的高级工程师年薪就达到 500k 。
linoder
2017-02-06 01:10:50 +08:00
BDP
likuku
2017-02-06 02:32:10 +08:00
aws 的相关设施资源很丰富, 2016 年底重点之一就是大数据,还有了很好用的 BI 服务,如此前后端都有了。

有兴趣的可继续这个话题。
likuku
2017-02-06 02:34:15 +08:00
hadoop 并不难搞,核心 /含金量最高还是业务算法和前期建模,基本都是数学和统计学的人干,相关圈子很小。
likuku
2017-02-06 02:36:02 +08:00
数据分析 /建模 /统计,我认识有资深人士,咨询的话都是付费的。
snoopygao
2017-02-06 08:55:08 +08:00
感谢各位的解答
yanyanlong
2017-02-06 10:04:40 +08:00
公司自己搭建平台建议买星环或者 CDH 的商业版,可以节约不少开发周边维护工具的时间。
knktc
2017-02-06 10:07:31 +08:00
可以参考下 cloudera 的产品或是 splunk 的产品
kinprogram
2017-02-06 12:01:18 +08:00
@yanyanlong +1 还有华为的 FushionInSight
ethankoo
2017-02-06 12:39:40 +08:00
企业级数据平台,集采集、存储、开发、查询、可视化等工具链,有意聊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/338302

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX