52G 的库,用什么办法检索速度最快?

2016-04-04 14:23:34 +08:00
 ifconfig

只导了 126 的数据到 mysql 已经有 10G ,做了索引, like 语法查起来还是很慢。(平均: 45s 设备: 256SSD+i5 ) 要想达到 163password.download 查询的速度,该用什么技术或架构?

9561 次点击
所在节点    MySQL
63 条回复
ynyounuo
2016-04-04 16:25:27 +08:00
不先整理一下?我全部转为 UTF-8 然后合并到一个文件并且 sort -u 之后数据就只剩 12 GB 了,这还有大量重复的信息呢
lichao
2016-04-04 16:32:47 +08:00
这破事,网易官方有回应吗?
RangerWolf
2016-04-04 16:55:06 +08:00
我觉得 163password.download 并不快啊~
ucaime
2016-04-04 17:20:33 +08:00
@lichao 网易太鸡贼了,第一把所有曝出的库的邮箱标记为可疑,各种提示。第二把关键邮件比如苹果发来的要求手机验证查看,装糊涂吧
ifconfig
2016-04-04 17:27:00 +08:00
@ucaime 唧唧,这么一听你说,渣易真够贱的
dingyaguang117
2016-04-04 17:28:41 +08:00
163password.download 是不是不全啊? 我查了没有
dingyaguang117
2016-04-04 17:30:41 +08:00
@ynyounuo 为什么还需要转码? 邮箱密码不应该 ascii 就够了吗
badcode
2016-04-04 18:04:38 +08:00
有意思,一张图片一个小时多而已
来自 v2 的 views 就有 300 多次
guoer
2016-04-04 18:14:13 +08:00
你们都下载好了?
jiongjionger
2016-04-04 18:22:39 +08:00
只有 50 多 G ,直接丢内存得了
soway
2016-04-04 18:28:49 +08:00
类似搜索引擎的做法
ianisme
2016-04-04 18:36:27 +08:00
grep -nr 自己的邮箱啊!! *
ifconfig
2016-04-04 18:53:38 +08:00
@ianisme grep 效率太低了,还是上 ES 搜索系统试试
SlipStupig
2016-04-04 18:57:56 +08:00
求下载地址啊
ifconfig
2016-04-04 19:43:05 +08:00
@SlipStupig v 站内就有的
jhaohai
2016-04-04 19:49:49 +08:00
索引对 like 无效
kuzhan
2016-04-04 19:50:14 +08:00
分表
moult
2016-04-04 20:06:35 +08:00
模糊查找的话,还是基于 Lucene 吧。
精确查找的话,关系型数据库也不会慢吧。或者试试看 Redis 。
strwei
2016-04-04 20:07:35 +08:00
试试文档数据库或者 Redis
ifconfig
2016-04-04 20:26:49 +08:00
@moult 这谢谢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/268464

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX