怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧

[jahan]

现在想如何才能搭建一个大数据平台呢？有没有文档可以参考？ 数据库都文本形式的， 有没有可视化的数据分析工具呢？拖动组件实现分析？

[jahan]

@defunct9 貌似要不少机器，步骤好像也比较复杂，不过确实可以学习一下。

[rockivy]

推荐 impala + superset

[jyf]

只有 5T 的话 ELK 足够了 不过有个坑 ELK 刚学的时候那个查询很烦很烦

[Jacklee]

可以上 cloudera

[jahan]

@jyf 目前测试是 5T,以后会增长。

[jahan]

@rockivy 感谢提供信息。

[jahan]

@defunct9 730 ？弄过 720，噪音喜人啊。
aws 得服务的话，数据会被 amazon 拿走？有保证吗

[winglight2016]

http://kylin.apache.org/cn/
用这个吧，开源一揽子方案，我之前就想用，后来没时间，LZ 用过了发个测评啊

[defunct9]

@jahan 720 都没了。你的数据 aws 估计不感兴趣，集群是用完就没了的，数据会放到你指定的 bucket 里。刚弄完 emr 的一单小活，所以比较清楚。

[jyf007]

@winglight2016 看成了 https://en.wikipedia.org/wiki/Kylin_%28operating_system%29 这个 redhat 了,因为天天碰的缘故

[tflz514]

考虑商用么？大概是什么数据？

[jahan]

现在我觉得可能要解决得是技术路线，硬件准备等一系列问题了。
大家得讨论太有价值了。

[jahan]

@YYyoung 接触过，感觉背后是 greenplum 啊

[jahan]

单台 Dell R730 就可以。虚拟出来 kvm 搭建 hadoop，减配的话，两个 namenode，一个管理节点，三个 datanode。足够了，4G×2+4G+32G×3，128G 内存够了。硬盘就越大越好

========
上面这些有文档吗？

[laxenade]

看一下 aws glue 吧 能满足你拖拽控件和不需要什么服务器的要求。至于怎么可视化，结果都在 s3 了随便找个 BI 就可以了，在这里就不推荐 aws quicksight(实在太垃圾)， 有钱直接上 tableau。

[defunct9]

@jahan 搭过 600 台的集群，一开始做试验的时候用的 saltstack 的脚本，自动部署，两个 namenode，一个 hue+hive+pig+管理，三个 zookeeper+journalnode，3 个 datanode，用的 cloudera。没整理文档。没什么难度

[abmin521]

多少 PB 才叫大数据？

[rayray314]

有钱 Tableau，成熟的商业化方案。

也可以 POWER BI，甚至 EXCEL 里的 POWER QUERY+POWER PIVOT 都可以。

[WildCat]

看起来是社工库。

[fange01]

@WildCat 有什么好方案