基于 python 写的一个 google 的爬虫

2015-08-04 21:14:17 +08:00
 Fing
解析器用的是beautifulsoup,框架是Django,数据库mysql。爬虫的数据会放到数据库,所以对磁盘IO有要求,不过就我一个人用,峰值很低很低,所以一直想看看云盘承受能力,内存使用情况其实也很感兴趣。中午在程序员节点发个贴(12点发的),考虑到V2的强大,做好了down机随时重启VPS的准备,一直等到12点半才来一个访问者,后来干脆去吃饭了(公司12点开饭),吃完回来一看有了7,8个人访问了,一看V2,帖子沉了,应该我发了网址,V2把帖子当成软广告了,我是希望有人能够回复,做的怎么样,哪里不行,什么水平,可以怎么改进,哪怕是一句“这也好意思放到V2”我都能接受,所以选在大家下班之后的这个点厚着脸皮再发一次,看能不能有大牛评价下,发现什么bug或者黑掉我的主机(可能是我想多了)之类的,网址是googlebridge.com,求重踩...
4462 次点击
所在节点    Python
28 条回复
Fing
2015-08-05 17:59:37 +08:00
@heaton_nobu 你是棒棒的
WKPlus
2015-08-06 13:45:08 +08:00
是我在googlebridge上搜索一个词,然后googlebridge实时去搜索google,然后把结果缓存起来供下次使用的意思么?

话说,如果只是要看性能,自己不是也可以测试么?
Fing
2015-08-06 14:00:18 +08:00
@WKPlus 目前是的,以后可能只存一天或者根据热度来决定保存时间
sinosure
2015-08-08 17:05:49 +08:00
提个建议,可否支持类似这种搜索,site:v2ex.com/t bottle,算是v2ex的福利了
Fing
2015-08-11 11:36:03 +08:00
sinosure
2015-09-05 17:00:49 +08:00
好用,我用 wox 建了个快捷方式,这下查东西方便了, v 对应在 V2EX 下查, gg 对应在 googlebridge 下查。非常赞。貌似作者还是个 wower
Fing
2015-09-05 17:18:30 +08:00
@sinosure 作者已经堕落的很多年~
sinosure
2015-09-05 17:26:50 +08:00
wox 凑合用了,也没见到 win 下其他类似的更新的很勤快吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/210807

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX