实际工程中的十亿条数据完全匹配查询

2021-02-03 13:04:25 +08:00
 beryl

也算是一道常见的算法题:有十亿条 URL,来了一个新的 URL 判断是否在里面,提供在线服务

但是想着优先使用 mysql 查询,其次 ES, 想布隆过滤器等不适合在工程应用,要保证准确

现有思路,将 url 进行 md5 存储,作为主键 key 分表放在数据库。

但是不清楚具体这种情况下效率会是怎么样

3509 次点击
所在节点    程序员
22 条回复
Lemeng
2021-02-03 17:55:58 +08:00
10 亿条,竟然 url
luozic
2021-02-03 17:59:50 +08:00
Cuckoo Filter 了解一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/750893

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX