• 请不要在回答技术问题时复制粘贴 AI 生成的内容
SlipStupig
V2EX  ›  程序员

上百亿数据规模数据数据如何进行处理

  •  
  •   SlipStupig · Mar 3, 2017 · 3498 views
    This topic created in 3367 days ago, the information mentioned may be changed or developed.
    400 亿规模的数据规模如何进行快速搜索和入库呢?用 mongodb 集群+es 可以完成这项任务吗?
    13 replies    2017-03-03 18:00:09 +08:00
    qfdk
        1
    qfdk  
    PRO
       Mar 3, 2017 via iPhone
    同样问题 你们入库速度大概多少 我 26000000 大概半小时 单机 es
    herozhang
        2
    herozhang  
       Mar 3, 2017
    磁盘、内存、 CPU 是啥配置,不说没法对比啊
    qfdk
        3
    qfdk  
    PRO
       Mar 3, 2017 via iPhone
    @herozhang 内存 16g i7 三代 硬盘 500g ubuntu 16 04
    XiaoFaye
        4
    XiaoFaye  
       Mar 3, 2017
    @qfdk 500g HDD?
    herozhang
        5
    herozhang  
       Mar 3, 2017
    通用思路应该是根据搜索需求的具体情况来分库,热数据直接放内存,冷数据放硬盘
    wph95
        6
    wph95  
       Mar 3, 2017
    500g HDD ???
    你每条数据有多小?
    10b 一条?
    stabc
        7
    stabc  
       Mar 3, 2017
    我觉得做这种事情的人问这种问题有种悖论在里面。
    就好像之前看过一个询问“我就要当 CEO 了,请问 CEO 平时都做些什么?”
    yepinf
        8
    yepinf  
       Mar 3, 2017
    ['100 亿数据 1 万属性数据架构设计']( http://www.36dsj.com/archives/75363)
    SlipStupig
        9
    SlipStupig  
    OP
       Mar 3, 2017
    @wph95 每天数据应该在 100kb 以内吧
    qfdk
        10
    qfdk  
    PRO
       Mar 3, 2017
    @XiaoFaye 对 hdd 大概 100000 数据 /s 每个包大概 14Mb
    lhbc
        11
    lhbc  
       Mar 3, 2017 via iPhone
    这个问题至少值几十万年薪啊
    SlipStupig
        12
    SlipStupig  
    OP
       Mar 3, 2017
    @lhbc 月入 5.5 块的路过...
    wshcdr
        13
    wshcdr  
       Mar 3, 2017
    关注这个问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2803 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 12:15 · PVG 20:15 · LAX 05:15 · JFK 08:15
    ♥ Do have faith in what you're doing.