求助千万级数量字符串快速读取方法

2021-03-12 22:14:04 +08:00
 cool1205

各位大佬，小弟最近遇到一个问题，我这里现在有两千万多个独立字符串，字符串长度平均在 64 左右，想请问有没有比较好的存储方式，能否达到秒级甚至毫秒级读取这些数据

1595 次点击
所在节点    数据库
6 条回复
DoctorCat
2021-03-12 22:42:30 +08:00
阐述的不够清晰，读取是随机 /顺序读，还是要做字符搜索匹配？
FucUrFrd
2021-03-12 22:56:48 +08:00
Redis 秒秒钟的，不要 HBASE 浪费机器
favourstreet
2021-03-12 23:01:28 +08:00
两千万个，全连成一串也就 1 ～ 10GB，遍历一遍都可以做到秒级……
Slartibartfast
2021-03-13 00:12:59 +08:00
如果是为了随机读的话，放内存里就 redis，放磁盘上就 rocksdb 。

如果是顺序读，直接排好序放到磁盘上就行了。
lostpg
2021-03-13 00:17:13 +08:00
本来想说用布隆过滤器的，后来想想干脆直接上 kv 吧
xarthur
2021-03-13 08:39:51 +08:00
这个东西如果每个字符 4 个字节，也才 4 个多 G，8 个字节也 10 个 G 不到，随便找个内存数据库存就行了……

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/761183

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX