爬虫放在 scrapinghub 还是会被 ban

[lbfeng]

DOWNLOAD_DELAY 设置为 7 ， COOKIES_ENABLED=False ， rotate user agent 。不管用。 deploy 到 scrapinghub 上也只有前 100 个 request 可以。还有什么防 ban 的方法.

[binux]

找 scrapinghub 客服

[rebornix]

scrapinghub 当然不管你是否被 Ban 啊，这个服务又不是管这个的。。。

他们会告诉你 用他们的 CRAWLERA

[lbfeng]

@rebornix 免费的果然不好使

[rebornix]

@lbfeng 主要还是看业务需求，他们提供 hosting ，避免被 Ban 要好好优化代码以及多 IP 。前者他们帮不了，后者还是可以做的，一门好生意。

[hanbingtel]

最好丢个测试地址，大家研究下哈！！ 看是否能突破。

[AceDogs]

你要知道 scrapinghub 和你的爬虫被封没关系， 封禁可能是对方网站的策略问题， 你还是要考虑如果不被封锁， 他们也提供了一个牛逼的代理服务叫 crawlera，这个就是专门干这事的。当然不同的网站有不同的封禁的方案， 你还是看在代码中去好好控制一下的。