拥有相对宽松的时间和资金预算如何合理有效建设分布式计算中心？

[wsgzao]

2000pc server，每台10T本地硬盘，加外置存储10PB*5，存储网络使用NAS，做分布式计算中心；

希望各位大牛能够分享下比较实际的解决方案，使用的技术和架构；

如果有更合理的硬件投入和规划方案也欢迎帮忙一起调整思路。

[guotie]

NB

[imn1]

有这样的NB能力，如果请求IBM提供方案

[pc10201]

先花钱请业界最牛B的架构师~

[wupher]

砍一半钱，外包出去好了 ；-）

[thinkxen]

膜拜一下~~~~~~~~

[loading]

#12306

我也想有这方面的知识储备！

[66450146]

收购 Google。

[wsgzao]

@loading 这个已经不是知识储备了，是实际需要干的事情，没有最牛的架构师，只有不断深入实践才能理解的更透彻

[tshwangq]

seti@home

[notnumb]

本人有一点，机房，运维，编程都搞过。写出来让大家见笑见笑。

如果真要做好，必须找偏执狂。找提供方案的中庸企业不行，如果要求不高，找IBM也是不错的。
性能分析要做好，安全流程要写好

机型选择要跟着你跑不同程序来，首先需要一组好的测试码农，能够拿到相对准确数据。
测试你们程序的类型，以来高主频，还是核心数，还是效率低下的傻等，还是疯狂的循环让cpu傻跑，
在来决定机型。
个人认为计算和存储的机型是最重要的，

当然后续你要选择你的应用，目前应用，以及规模扩大后应用，
以及软硬件如何扩展以及修补设计缺陷
比如，文件系统: lustre，gpfs，hdfs, glusterfs
以及包含备份方案的，LTFS

举例机型如下，要写太多了。

任何一点都可以无限发散，看你要做到哪个程度了


场地
面积
制冷
计划PUE达到多少
制冷方式
Free Air Cooling
水冷空调
承重
依赖型号，配置，地板结构，建筑承重能力
机柜
不管计算还是存储i节点
CPU
主频
核心数
单纯的高网络或者磁盘IO考虑arm或者atom，只要计算好吞吐量，达到平衡即可。
MEM
满槽高容量
满通道低延时
IO
HDD
SAS
HBA
RAID
带扩展
本地
FC
IB

NIC
连接方式
IB
以太网
带宽
10Gb/S
40Gb/s
端口数量
决定交换机，路由器链接方式

电源
功耗决定机房用电量
PDU接口数量

......