V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
SlipStupig
V2EX  ›  程序员

上百亿数据规模数据数据如何进行处理

  •  
  •   SlipStupig · 2017-03-03 13:58:14 +08:00 · 3084 次点击
    这是一个创建于 2812 天前的主题,其中的信息可能已经有所发展或是发生改变。
    400 亿规模的数据规模如何进行快速搜索和入库呢?用 mongodb 集群+es 可以完成这项任务吗?
    13 条回复    2017-03-03 18:00:09 +08:00
    qfdk
        1
    qfdk  
       2017-03-03 15:46:54 +08:00 via iPhone
    同样问题 你们入库速度大概多少 我 26000000 大概半小时 单机 es
    herozhang
        2
    herozhang  
       2017-03-03 15:48:51 +08:00
    磁盘、内存、 CPU 是啥配置,不说没法对比啊
    qfdk
        3
    qfdk  
       2017-03-03 15:51:32 +08:00 via iPhone
    @herozhang 内存 16g i7 三代 硬盘 500g ubuntu 16 04
    XiaoFaye
        4
    XiaoFaye  
       2017-03-03 15:53:29 +08:00
    @qfdk 500g HDD?
    herozhang
        5
    herozhang  
       2017-03-03 15:59:58 +08:00
    通用思路应该是根据搜索需求的具体情况来分库,热数据直接放内存,冷数据放硬盘
    wph95
        6
    wph95  
       2017-03-03 16:55:18 +08:00
    500g HDD ???
    你每条数据有多小?
    10b 一条?
    stabc
        7
    stabc  
       2017-03-03 16:58:52 +08:00
    我觉得做这种事情的人问这种问题有种悖论在里面。
    就好像之前看过一个询问“我就要当 CEO 了,请问 CEO 平时都做些什么?”
    yepinf
        8
    yepinf  
       2017-03-03 17:03:32 +08:00
    ['100 亿数据 1 万属性数据架构设计']( http://www.36dsj.com/archives/75363)
    SlipStupig
        9
    SlipStupig  
    OP
       2017-03-03 17:11:05 +08:00
    @wph95 每天数据应该在 100kb 以内吧
    qfdk
        10
    qfdk  
       2017-03-03 17:14:31 +08:00
    @XiaoFaye 对 hdd 大概 100000 数据 /s 每个包大概 14Mb
    lhbc
        11
    lhbc  
       2017-03-03 17:48:20 +08:00 via iPhone
    这个问题至少值几十万年薪啊
    SlipStupig
        12
    SlipStupig  
    OP
       2017-03-03 17:59:44 +08:00
    @lhbc 月入 5.5 块的路过...
    wshcdr
        13
    wshcdr  
       2017-03-03 18:00:09 +08:00
    关注这个问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5893 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 02:37 · PVG 10:37 · LAX 18:37 · JFK 21:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.