52G 的库，用什么办法检索速度最快？

[ifconfig]

只导了 126 的数据到 mysql 已经有 10G ，做了索引， like 语法查起来还是很慢。（平均： 45s 设备： 256SSD+i5 ） 要想达到 163password.download 查询的速度，该用什么技术或架构？

[ifconfig]

@strwei 谢谢

[micookie1]

我忘记密码的终于找回了

[strwei]

@ifconfig 以前做 bt 搜索网站的时候用的 redis 网站 n G 数据，查找很快

[linescape]

@dingyaguang117 我查了有我的邮箱但是不是我的密码。。。

[ucaime]

http://www.03sec.com/usr/uploads/2015/04/2864323021.pdf

03sec 的老文，可以参考，用了 coreseek

[ucaime]

@jhaohai 谁说无效，正序索引 只要 like 不是%开始还是可以用的

[TemporaryID]

导入数据： http://pastebin.com/2PyKHPjn
Web 服务： http://pastebin.com/SErx0WNj

用的是 LevelDB
导入后大概 25GB
服务器在 DigitalOcean 上
楼上 @yeyeye 说的对，因为是精确匹配，所以快

还有真的不要 DDoS 我好吗，我真的不是做这个的，只是玩玩 T_T

[ffwalle]

52g 根本小菜一碟，记得加索引。

[ffwalle]

哦，看到你说做 like 查询，呵呵，如果真的要快，那做 ngram 吧。。。

[powtop]

求裤子

[xinyewdz]

刚查了，密码是四年前的。

[wyx]

歪个楼，解压密码是啥？

[ifconfig]

@wyx

[ifconfig]

@wyx baidu

[wyx]

@ifconfig 谢谢

[thanksir]

靠，我的泄露了

[soulteary]

@ynyounuo 粗筛选可以在转码前先执行 shasum 简单计算 hash ，然后再做分词。算了一下，大概重复的数据有 438 ， 38.62%左右都是重复的。

如果先转码，恐会浪费不少时间（机器多可忽略...）

[wwek]

没裤子穿,需要裤子

[ynyounuo]

@soulteary
嗯，学习了，所以大概缩下来有多大呢？

[soulteary]

mime-type 错误 & 编码可能存在问题的有 3G 左右，有空特殊处理看看。

32G 简单去重后 11G ，其实挺少的，继续筛下估计更少...

@ynyounuo