Python 反爬虫

[creaer]

今天爬知乎被封了，请问如何绕过反爬虫

[UnisandK]

换 IP

[creaer]

@UnisandK ok

[VicYu]

proxy list

[creaer]

@VicYu 谢谢，感觉设置一个 sleep 好像也可以，暂时就这样吧

[dsg001]

单机几百线程爬知乎，爬 20+小时没问题，过了几天才被封

[airqj]

@dsg001 我的也是
感觉知乎的爬虫太迟钝了吧 ：)

[582033]

https://gist.github.com/582033/19a35dac89d86b98e413567cc5fb2505

自动多线程从指定网站获取代理列表

[creaer]

@dsg001 我也是昨天开始爬，今天被封的

[masterzh01]

http://doc.scrapy.org/en/0.24/topics/practices.html

scrapy 中提到的方法

[hippoboy]

好几台服务器装 Squid,自己做代理....

[creaer]

@masterzh01 3Q

[creaer]

@hippoboy 这个成本不低 我就自己玩玩

[Allianzcortex]

换 UA ，换 IP ，多线程，设置等待时间。

我曾经有段时间买了个国外服务器安装 SS,然后连接上后走 Socks5 代理。被封的次数就很少。

[creaer]

@Allianzcortex 设置等待时间好像没啥用，而且速度反而降低了

[Allianzcortex]

@creaer 服务器要区分人和机器行为的重要依据就是访问频率啊，增加等待时间会更容易混淆服务器。设置等待时间也比较友好:-D

[7sDream]

可以尝试用知乎的 RESTful OAuth API ，比起访问网页版好像比较不容易被封。

具体资料我就不贴了。

[dsg001]

@creaer
@airqj
所以尽量提高单位时间的爬取速度，被封后换 IP 继续

[airqj]

@dsg001 目前已经爬得差不多了
而且免费的代理不靠谱 就不折腾了

[creaer]

@Allianzcortex 难道是因为我设置的等待时间太短了

[Allianzcortex]

@creaer https://segmentfault.com/a/1190000005840672 你可以看看这篇文章，看看携程反爬虫的思路。反爬虫最重要的是不能影响业务，不能使正常用户的访问受影响～