开源一个 google 爬虫项目

[Fing]

这个项目写了一段时间了，主要功能就是实时爬取 googlesearch 的结果。google 反爬很严格，我这边也没有很好的办法，后面可能也不太搞了，就整理了开源出去，希望能给其他人一些思路。 github: https://github.com/FastSchnell/googlebridge

目前只支持 python2.7，有兴趣的可以试一下 下载 wget http://googlebridge.com/googlebridge.py 运行 python googlebridge.py

[mingyun]

支持 py3 啊

[Fing]

@mingyun 没测过欸~

[mckelvin]

楼主代码写得挺认真的，建议了解下 requests, urlparse, pyquery 或 BeautifulSoup, jinja2 这几个库，能剩不少代码。

[viosey]

有办法爬 Google image 吗?

[gaotongfei]

@mckelvin jinja 在爬虫中有什么应用？

[mckelvin]

@gaotongfei 我也好奇呢。但楼主代码里有 html 模版。

[Fing]

@mckelvin 不用三方库为了简化部署。 里面有 html 模版是因为脚本跑起来就是一个网站。

[xiaozizayang]

关键是对谷歌反爬机制的研究 我也写过一个 轮循谷歌全球域名 有点效果 https://github.com/howie6879/MagicGoogle

[jisibencom]

难道用反代不是更方便些不？

[Fing]

@jisibencom http://www.lofter.com/lpost/1d575b02_110546ad