怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧

[jahan]

现在想如何才能搭建一个大数据平台呢？有没有文档可以参考？ 数据库都文本形式的， 有没有可视化的数据分析工具呢？拖动组件实现分析？

[jahan]

@SoulSleep 主要是不知道如何才能搭建一个可用的环境，有没有 step by step 的教程呢

[manfred4527]

SAS SPSS

[defunct9]

自搭 hadoop

[jahan]

@defunct9 机器最低需要多少呢，不知自用的话，需要何种性能

[bayker]

借楼提问： 数据存储到数据库（ elasticsearch ）后,是用 elasti 的 API 方法做数据分析，还是有其他工具可以自动分析？

[jahan]

@bayker 感谢提供又一个信息

[rockyou12]

@bayker kibana 可以直接可视化

[suixn]

clickhouse

[defunct9]

@jahan 单台 Dell R730 就可以。虚拟出来 kvm 搭建 hadoop，减配的话，两个 namenode，一个管理节点，三个 datanode。足够了，4G×2+4G+32G×3，128G 内存够了。硬盘就越大越好

[defunct9]

@jahan 也可以直上 aws 的 emr，按需付费。

[v2xe2v]

elk + kafka

[mejinke]

@defunct9 你这个估计也不行，你的硬盘 IO 是瓶颈

[bzzhou]

@defunct9 kvm 这个对 IO 性能多伤呀

如果一台机器，就直接多挂磁盘，replication 设置为 1 （备份好原始数据），直接在本地文件系统开跑

[fireapp]

druid 很好用，使用官方套件 imply，不依赖第三方存储，支持 sql,可视化，拖拉，还是开源免费的，对内存要求不高，可以试试

[madNeal]

https://mp.weixin.qq.com/s?__biz=MzI3MjA3MTY3Mw==&mid=2247483655&idx=1&sn=e3e29a5b90edfc4ffbf57b7310d53e6b&chksm=eb396f91dc4ee687a2e96d46c46db3420868a54ea8fe99ae0a64a92fddd16a7a4f7eb8d90d4f#rd

[defunct9]

@bzzhou emr 也是开 kvm 的 cluster，io 也不伤啊，hadoop 对 io 的要求不高撒。

[liyer]

elasticsearch+kibana

[jahan]

@madNeal 非常感谢。
@liyer 非常感谢。
这个是不是借用传统数据库就可以了？

[jahan]

elasticsearch+kibana 这个模式是不是都不用数据入库？

[jahan]

很多时候的应用场景是，多人之间的关联关系，比如转账，比如物品交换等等。