V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
arachide
V2EX  ›  Hadoop

请教下国内现在用 hadoop 的公司 是用云端的 hadoop(例如微软的 HDInsight AWSEMR)还是自己购置机器搭集群?

  •  
  •   arachide · 2015-02-16 08:12:22 +08:00 · 5054 次点击
    这是一个创建于 3602 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教下国内现在用hadoop的公司 是用云端的hadoop(例如微软的HDInsight AWSEMR)还是自己购置机器搭集群?

    16 条回复    2015-02-16 11:56:46 +08:00
    FeiMa
        1
    FeiMa  
       2015-02-16 08:31:04 +08:00
    自己购置机器。
    arachide
        2
    arachide  
    OP
       2015-02-16 08:37:55 +08:00
    @FeiMa 自建机房还是托管啊
    9hills
        3
    9hills  
       2015-02-16 09:08:22 +08:00 via iPhone
    @arachide 机房不是随随便便自建的,有能力自建机房的互联网公司(不包含idc公司)也就个位数。真正自建的很少…我只知道baidu和tencent有纯自建的机房
    arachide
        4
    arachide  
    OP
       2015-02-16 09:16:42 +08:00
    @9hills 你的意思是说大部分是自己购置机器然后托管到idc
    darkjune
        5
    darkjune  
       2015-02-16 09:57:19 +08:00
    @arachide 买云服务的虚拟机就好了,也不需要自己买机器托管吧
    scys
        6
    scys  
       2015-02-16 09:58:29 +08:00 via Android
    简单机房成本不贵…可是能管机房的难找
    tabris17
        7
    tabris17  
       2015-02-16 10:11:53 +08:00
    窝司小公司但也有自建机房(就在公司里
    arachide
        8
    arachide  
    OP
       2015-02-16 10:15:58 +08:00
    @tabris17 那每天传送10tb数据估计得专线吧
    cye3s
        9
    cye3s  
       2015-02-16 11:02:55 +08:00 via Android
    电信自己买机器😅😅
    shenyi26
        10
    shenyi26  
       2015-02-16 11:03:53 +08:00
    百度阿里应该都是在用自己的hadoop定制版,IDC应该是自己搞得。现在有个叫星环的提供hadoop定制服务,可以看看。之前intel hadoop部门自己出来创业的
    9hills
        11
    9hills  
       2015-02-16 11:17:16 +08:00
    @arachide 托管--->共建--->自建

    自建机房成本几十亿正常,这个不是谁都掏得起的。一般都是托管,有特殊需求了走共建。国内TOP的互联网公司,绝大部分IDC都是托管或共建

    当然你随便找个房子扔进去服务器也算自建机房当我没说。。。
    9hills
        12
    9hills  
       2015-02-16 11:21:06 +08:00
    另外阿里财大气粗,貌似以托管为主,互联网公司选择自建都是为了省钱和发展需要,因为机房的机架位第一贵,第二交付不受控制

    有什么比业务蒸蒸日上,但是机房机架位已满还要悲剧的么,苦逼的OP就又要开始搬迁了。。
    arachide
        13
    arachide  
    OP
       2015-02-16 11:52:17 +08:00
    @shenyi26 偶大意思是hadoop流量出入很大
    方案
    1.用aws azure 最好用它的hadoop云
    2.服务器托管用aws azure hadoop云也成(azure aws数据流入不收费的)
    3.全自己搞服务器 不划算 可能每天hadoop运算才几小时
    arachide
        14
    arachide  
    OP
       2015-02-16 11:53:10 +08:00
    偶说的都是生产环境的hadoop
    测试的其实树莓都够 哈哈
    scys
        15
    scys  
       2015-02-16 11:54:00 +08:00 via Android
    感觉 @9hills 好像躺枪了~
    建机房是每个发网络商的必要,大小贵丑。
    wilsoncao
        16
    wilsoncao  
       2015-02-16 11:56:46 +08:00
    AWS EMR
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3948 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 00:59 · PVG 08:59 · LAX 16:59 · JFK 19:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.