发布一个查询服务

2011-12-22 19:08:19 +08:00
 CMGS
之前看了有人做的查询服务和朋友讨论后觉得应该不是grep模式的,而是X到数据库做name和email的索引,所以行为上可能导致搜索出来的账号不全,做了一个新的,特别简陋
http://one.xiaom.co/csdn/cmgs

最后的那个就是id,跑在自己写的AE上,晚上回去把文本丢到node1做个balance,所以现在只有单北京节点可以访问,速度上虽然是全文grep,丢内存用grep,欢迎查询。
6038 次点击
所在节点    分享发现
18 条回复
Air_Mu
2011-12-22 19:20:25 +08:00
楼主写个表单嘛。。。
CMGS
2011-12-22 19:48:19 +08:00
好嘞…晚上回去做个界面…
avatasia
2011-12-22 19:58:15 +08:00
@CMGS 速度好快,目前并发多少啊?
Eyon
2011-12-22 20:02:35 +08:00
lz,我要基于密码查询的...................
alsotang
2011-12-22 20:27:38 +08:00
不懂这是在干吗。。。一进去就只有一个表单而已。。
CMGS
2011-12-22 20:39:49 +08:00
@avatasia 内存grep,没测试并发,512M的VPS,不会太弱
@Eyon 可以基于密码查询,正则都支持╮(╯_╰)╭
@alsotang 因为。。还没时间做页面
prtitrz
2011-12-22 20:45:41 +08:00
@alsotang http://one.xiaom.co/csdn/**** ****是你要查询的字符串
prtitrz
2011-12-22 20:51:21 +08:00
@Eyon lz用的是全文grep,csdn是明文存放密码。。so。。。
CMGS
2011-12-22 20:53:06 +08:00
@prtitrz 正解,虽然用了mask,但grep的时候可不mask。。
我先解决坑爹的Gevent和Subprocess问题。。得换subprocess。。
Eyon
2011-12-22 21:00:05 +08:00
@prtitrz 在我用密码查询的时候,可以把用户名给我省略几位

因为我密码基本固定,但用户名不固定.......
yuhuofeihe
2011-12-22 21:04:33 +08:00
@prtitrz 额不小心点到了你这个地址……
然后……
网页就不断的刷出来~
CMGS
2011-12-22 21:23:39 +08:00
@yuhuofeihe
因为是正则。。。so。。。把匹配的600多w全render出来了= =
richiefans
2011-12-22 22:00:08 +08:00
速度不错啊 具体实现机制的代码能share么,对这种大数据查询还真的不知道有什么好方法
CMGS
2011-12-22 22:10:17 +08:00
代码不是问题……这货的关键在于1.系统grep,2.内存mount到一个路径,文件丢这里面……完全以空间换时间,其实这份代码是有问题的。在于Gevent-subprocess比较脑残没readline,用迭代器会比较疼……
CMGS
2011-12-23 00:19:44 +08:00
@richiefans
搞定了,http://one.xiaom.co/csdn/
基于gunicorn+gevent
subprocess是用的gevent-subprocess,没有readline……让人很忧桑……
这种类型文件做索引存数据库没啥必要,因为就算这样你要索引的是用户名和Email,反查密码而已……
而且,那样就无法正则grep了,SQL的正则也是全扫描,so~

我的做法是丢内存,mount一个内存分区丢进去……popen启动系统grep(不可能写得比这个imba的- -)然后……就是现在看到的啦,Copy了之前@colorday的皮肤……叫一个写App Engine的货写前端……还是杀了我吧T.T

所以这个服务就这样了,懒得管,现在双节点应该都上线了东京/北京……欢迎测试……特点就是,咱们不入数据库,同样高效……但是是正则哟~
feilaoda
2011-12-23 11:47:24 +08:00
这个强,忘记用户名,忘记密码,只记得密码可能的关键字,不过还是被找回来了。
不错,密码就这样被泄漏了。
arzon
2011-12-23 12:04:37 +08:00
HTTP/1.1 500 Internal Server Error
CMGS
2011-12-23 14:03:44 +08:00
唉?我看看- -重启服务了……擦的这个……是2号节点内存不够用了嗯……

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/24087

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX