qq8331199 最近的时间轴更新
qq8331199

qq8331199

V2EX 第 392291 号会员,加入于 2019-03-15 01:38:41 +08:00
关于大数据(千万级,亿级)的查询问题
  •  1   
    程序员  •  qq8331199  •  11 天前  •  最后回复来自 MonkeyJon
    36
    有没有在上沙、下沙租房的朋友
    深圳  •  qq8331199  •  2020-08-06 10:57:48 AM  •  最后回复来自 wanliangxu1234
    3
    每年今天为什么 app 都抽风
    Chamber  •  qq8331199  •  2020-06-04 18:51:48 PM  •  最后回复来自 qq8331199
    7
    [求职][深圳][ web 前端][两年经验]
    求职  •  qq8331199  •  2019-03-21 09:13:25 AM  •  最后回复来自 zhenzi
    2
    qq8331199 最近回复了
    我们公司一直在招 go 开发,做金融方面的,主要做一级市场的数据,如有有意愿可以在内推你,
    公司不是很大,目前是 40~50 人的团队
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @tulumu
    我要的是查另一张表的数据,和主表没上面关系,瓶颈在全量同步,因为全量同步的时候查 1.5 亿的表慢,现在想解决的是查询慢的问题
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @aragakiyuii
    company_id 普通索引 varchar 类型,上面已经说了,explain 显示是走索引的,
    你有试过 1.5 亿里面查 1W 数据要多久吗?不是走主键索引,走普通索引
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @tiiis 我不是单独的查一个主键的记录,我这个是一次去另一张表查一批主键的记录
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @abccccabc
    我有 6000W 数据要跑,不是 1w,1w 是我一个批次的量
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @zhengsidao
    es 也不太行,1.5 亿的数据是全部需要查的,其实我还要 3 张过亿的表需要查,之前试过全部放 es,一起查这 4 张表,速度并没有很快,还很容易超时
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @zhengsidao
    说错了 1W id 我测试的时候应该有人操作数据库,后面再测了一次 只用 2 分钟,但是还是慢
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @tiiis
    索引生效的
    @ericbize
    mysql 5.7
    @abccccabc
    就是离线同步太慢了 单纯的查询 1W id 放到 1.5 亿的表查询 需要 2 分钟
    @ddkk1112
    这个应用场景不太使用,我需要的是所有列的数据
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @wzq001
    全量同步 6000w 数据,不可能查 6000W 次吧
    12 天前
    回复了 qq8331199 创建的主题 程序员 关于大数据(千万级,亿级)的查询问题
    @zoharSoul @ericbize
    2t 机器硬盘+128G 内存

    @goobai @yidinghe
    试过了,es 不适合做单纯的查询,我对分词没要求,只是想查出表的数据

    @wzq001
    不是批量变更,是数据同步,需要根据查其他表,计算出衍生数据,比如新的表里面会标记出公司是否有资本增长,类似这种字段
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3165 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 17ms · UTC 04:10 · PVG 12:10 · LAX 21:10 · JFK 00:10
    ♥ Do have faith in what you're doing.