52G 的库，用什么办法检索速度最快？

[ifconfig]

只导了 126 的数据到 mysql 已经有 10G ，做了索引， like 语法查起来还是很慢。（平均： 45s 设备： 256SSD+i5 ） 要想达到 163password.download 查询的速度，该用什么技术或架构？

[Bryan0Z]

这网站为什么会返回乱码，是我的密码还没泄露？
另外参照 找密码网的源码，人家 500G 数据， 30 多个库速度也在 10 秒以内

[zonghua]

按首字母分库啊，并行查找

[yeyeye]

他的是精确查找 你的是 like 查找 不是一个道理吧。只是要精确查找的话 还可以分成很多个表，查询速度必然迅捷无比。最简单的按 2 位首字母分表就可以分至少 1296 个 查询的时候做下判断就可以精确的去相应的表里面查 性能直接提升 1296 倍 你的 45S 马上就变成了 0.0347S

[dapang1221]

Sphinx

[kslr]

话说那个 TXT 里面乱七八糟的格式，我导了 100 万就放弃了，太麻烦了。

[Flygoat]

mongodb ？

[416877140]

@Bryan0Z 改 utf8 编码就好了

[ifconfig]

@yeyeye 虽然不是太懂，感觉好牛叉的样子，我先试试用首字母分区

[liyvhg]

全部加载到内存

[ifconfig]

@kslr 我用的是 LOAD DATA INFILE 语法，秒导

[ifconfig]

@Bryan0Z 哥们你说的找密码网的源码 ，有没有链接？

[ucaime]

倒入到 ES 集群了，嗯，正在倒入，还有两个包，几个亿数据毫秒级。妈蛋这次的数据重复太多，去重略耗时间

[kslr]

@ifconfig 可是格式呢，里面有----切分的还有不定长度空格什么的

[ifconfig]

@kslr
LOAD DATA INFILE 'path/info.txt' INTO TABLE xxx FIELDS TERMINATED BY '----' LINES TERMINATED BY '\n';
多看点参数说明就好了

[ifconfig]

@ucaime 看来哥们是搞大数据专家，我准备上 sphinx 试试

[slixurd]

Elastic Search 啊，虽然 like 这种通配符匹配还是很慢，但是分词后的模糊查询超快的，我们现在一个 index 就是 80G ，速度还超快。

[ifconfig]

@slixurd 牛叉，接触 ES 试试

[SlipStupig]

mongodb+es 几十亿都没任何问题，这种杂乱数据注意一下清洗，如果要做规则或者杂乱格式转发请用 kettle ，不过话说学会都是一个月后的事情了

[SlipStupig]

求裤子分享

[badcode]