基于 python 写的一个 google 的爬虫

[Fing]

解析器用的是beautifulsoup，框架是Django，数据库mysql。爬虫的数据会放到数据库，所以对磁盘IO有要求，不过就我一个人用，峰值很低很低，所以一直想看看云盘承受能力，内存使用情况其实也很感兴趣。中午在程序员节点发个贴（12点发的），考虑到V2的强大，做好了down机随时重启VPS的准备，一直等到12点半才来一个访问者，后来干脆去吃饭了（公司12点开饭），吃完回来一看有了7,8个人访问了，一看V2,帖子沉了，应该我发了网址，V2把帖子当成软广告了，我是希望有人能够回复，做的怎么样，哪里不行，什么水平，可以怎么改进，哪怕是一句“这也好意思放到V2”我都能接受，所以选在大家下班之后的这个点厚着脸皮再发一次，看能不能有大牛评价下，发现什么bug或者黑掉我的主机（可能是我想多了）之类的，网址是googlebridge.com，求重踩...

[limuxy]

为什么要存进数据库啊 会经常搜索同样的关键词？ #我是来消灭零回复的#

[anexplore]

google会封你不

[Fing]

@limuxy 刚做出来的时候不放，后来由于国内要备案，而且做这个站的目的很单纯，所以我选择要过滤一批数据，用数据库过滤，感觉跟栈的概念差不多，先放进去再拿出来~

[Fing]

@anexplore 我能用阿里云爬 ，我就能让他封不了。

[est]

@Fing 如何做到的？阿里云出口IP是动态的？

[Fing]

@est 我技术很菜，但我还是想保持一点神秘感~

[anexplore]

@Fing 代理ip？

[Fing]

@anexplore bingo

[zhicheng]

我写过一个 es + crawler ，基本可以实现一个简单的 Search Engine 了，可以爬指定站，各位小伙伴有兴趣吗？

[limuxy]

@Fing 直接在内存里处理不是比较快么 写进去再读出来很影响性能吧
话说为了能备案也不容易 还得自我审查啊

[x4]

@zhicheng 有

[Fing]

@limuxy 我也跟你有同样的想法，所以我才想到到V2发贴，多一点访问我好在后台看状态。然后目前的情况就是：
1,服务器负载很小，做这些读写操作不会影响到服务器的运行。
2,内存处理跟这种读写的方式也许会有延时，不过是ms为单位，而这个站点主要做的是抓取google国外站，抓取分析可能要2-6秒，所以后者是s为单位，所以前者的ms级别对于这个站点就微乎其微了。而且对于常用关键词放到数据库反而是个缓存，这是我目前的想法。

[tdifg]

还以为是自己爬呢，原来是爬google啊。ok，当镜像站收了……

[Fing]

@tdifg 你说了算咯~

[invite]

没看明白，这个不就是一个代理？主要想做哪方面技术攻关？

[zhuzhenyu]

http://googlebridge.com/search/?q=543ggggggggggggggggggggggggggggggggggggggggggggggggg&start=80 搜索到无结果的分页bug

[Fing]

@zhuzhenyu ......

[Fing]

@invite 你可以给我一个关键词，我给演示一下

[invite]

@Fing 你随便挑个关键词，然后给个演示就好了。

[heaton_nobu]

搜索结果url中文没有编码回来
下面分页没有显示当前页码
搜索某个关键词后14页往后结果都一样，但是可以不断向后翻页