求问 hadoop 集群搭建的硬件标准配置
gezizuozuosmile · 2018-05-11 10:37:35 +08:00 via Android · 3794 次点击这是一个创建于 2382 天前的主题，其中的信息可能已经有所发展或是发生改变。
本人 hadoop 初学者，由于老师想在实验室搭一个简单的 hadoop 集群做研究，让我自己去买设备。想咨询咨询各位大佬😂。具体问题如下：
1.一个最简单但各功能齐全的 hadoop 集群至少需要几台机器？选购时需要考虑哪些因素？
2.想着对性能要求高的节点（如 namenode ）用服务器，对性能要求低的节点（如 datanode ）买一般的台式机，不知可行否？服务器和台式机的硬件配置各有何要求呢，或者有什么推荐的机型呢？
3.以后可能还要在该集群上搞机器学习，是不是也要考虑什么硬件要求？
4.种种原因，机器无法连接外界互联网，只能集群内构建局域网。该情况下，能否顺利安装 cloudera hadoop ？
5.是否所有机器都需是 linux 系统？
万分感恩！！
1.一个最简单但各功能齐全的 hadoop 集群至少需要几台机器？选购时需要考虑哪些因素？
2.想着对性能要求高的节点（如 namenode ）用服务器，对性能要求低的节点（如 datanode ）买一般的台式机，不知可行否？服务器和台式机的硬件配置各有何要求呢，或者有什么推荐的机型呢？
3.以后可能还要在该集群上搞机器学习，是不是也要考虑什么硬件要求？
4.种种原因，机器无法连接外界互联网，只能集群内构建局域网。该情况下，能否顺利安装 cloudera hadoop ？
5.是否所有机器都需是 linux 系统？
万分感恩！！
 |
1
minato 2018-05-11 10:55:57 +08:00
可以用虚拟机搞定啊。。
|
 |
2
racecoder00 2018-05-11 10:59:30 +08:00
曾经一个破烂笔记本开了 8 个虚拟机模拟环境
 |
 |
3
defunct9 2018-05-11 11:02:19 +08:00
2 节点 namenode+3 节点 zk+jounal node+3 datanode
最少 8 节点 |
|
4
defunct9 2018-05-11 11:03:44 +08:00  1
namenode 用最烂的，datanode 用最好的。
|
 |
5
gezizuozuosmile OP |
|
6
defunct9 2018-05-11 11:04:31 +08:00
都是 linux，买一台 DELL R730 足够了。虚拟出 8 台 linux，cloudera
|
 |
7
ai277014717 2018-05-11 11:19:33 +08:00
以前用过 4g 的笔记本，开了三个虚拟机，1 个 master，2 个 node。
|
 |
8
cstj0505 2018-05-11 11:46:52 +08:00
只是 ihadoop 的话去网上找个 docker 集群，一键式安装，还要毛的虚拟机
|
 |
9
hugedata 2018-05-11 11:52:44 +08:00 1
64G 内存，10×300G 1W 转的 SAS 16、24、32 核处理器，全部装 Linux。然后虚拟机，Hadoop 选个发行版即可，比如 CDH 之类的。
|
 |
10
hellojinjie 2018-05-11 12:24:51 +08:00 via Android
不说预算求配置都是耍流氓
|
 |
11
sjmcefc2 2018-05-11 12:49:15 +08:00
|
Select Language