V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
drymonfidelia
V2EX  ›  数据库

风控系统用 MongoDB 会不会性能更好?采集的数据字段很杂

  •  
  •   drymonfidelia · 238 天前 · 1975 次点击
    这是一个创建于 238 天前的主题,其中的信息可能已经有所发展或是发生改变。
    13 条回复    2024-05-06 09:15:17 +08:00
    raycool
        1
    raycool  
       237 天前
    现在用的啥
    drymonfidelia
        2
    drymonfidelia  
    OP
       237 天前
    @raycool 现在用的 MySQL ,太卡顿了,而且数据库体积非常大,正在计划重构
    jhdxr
        3
    jhdxr  
       237 天前
    直接 ETL ?
    jhdxr
        4
    jhdxr  
       237 天前
    打错了,我想说 ELK
    Belmode
        5
    Belmode  
       237 天前
    之前做过类似的,这种系统用 MongoDB 类的数据库,天然合适。不过有点需要主要,需要规划好文档结构和集合规模,还有要考虑索引的 key 。
    因为数量达到一定程度,还是会慢,并且数据集合过大,MongoDB 直接无法 count 了。

    1 、预估数据规模,设定需要的硬件配置
    2 、选择单独分片还是分片分表,决定集群方案
    3 、尽可能减少索引数据量,因为 MongoDB 会在 index 时把所有对应的索引完全载入内存,会导致内存占用高
    4 、仅作业务分析,避免多文档事务
    5 、聚合计算尽可能降低规模,提高查询效率、count 效率。

    基本上单集合几亿数据毫无压力
    locoz
        6
    locoz  
       237 天前 via Android
    建议考虑用 ES ,应该会比 MongoDB 更适合
    qW7bo2FbzbC0
        7
    qW7bo2FbzbC0  
       237 天前
    MongoDB 数据量大了,官方只有逻辑备份的工具,备份挺困难的,一次备份持续好几天。percona 物理备份工具需要使用 percona 分支的 MongoDB 。

    elastic 需不需要备份,有物理备份方式吗?
    dododada
        8
    dododada  
       237 天前
    @qW7bo2FbzbC0 上海机房备份到北京机房?
    vczyh
        9
    vczyh  
       237 天前
    @qW7bo2FbzbC0 直接把 data 目录备份可行不
    vczyh
        10
    vczyh  
       237 天前
    @qW7bo2FbzbC0 MongoDB
    qW7bo2FbzbC0
        11
    qW7bo2FbzbC0  
       237 天前
    @dododada
    @vczyh

    不知道,没试过,大哥您可以试试再告诉我们。就是日常备份啊
    lenmore
        12
    lenmore  
       237 天前
    @qW7bo2FbzbC0 我是用 LVM 卷的 snapshot 做物理备份。
    vczyh
        13
    vczyh  
       231 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3081 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 13:45 · PVG 21:45 · LAX 05:45 · JFK 08:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.