如何管理爬虫代理 IP

2017-11-29 18:06:40 +08:00
Mrkon  Mrkon

1.代理 IP 池: https://github.com/qiyeboy/IPProxys 作者七夜的故事,他的书我买了,很不错的,要吐槽的是他在博客里说没女朋友,到书中就有了。明显欺骗观众 2.代理 IP 的自动化: http://www.kohn.com.cn/wordpress/?p=208#comment-1993 作者 kohn

1791 次点击
所在节点   分享发现  分享发现
2 条回复
shuizhengqi
shuizhengqi
2017-11-30 09:23:47 +08:00
没看懂你要说什么
Mrkon
Mrkon
2017-11-30 10:00:00 +08:00
@shuizhengqi
我想分享的是如何更好的使用代理 IP 池。语言表达不清楚,见谅。。。。原文一部分如下:
scrapy 提供下载中间件机制, 可以在请求队列与下载请求之间做一些动作. scrapy 本身也提供了一个 ProxyMiddleware, 但是它只能使用固定的 IP 地址, 由于免费的代理相当不稳定, 很多代理其实根本不能用. 因此需要对 ProxyMiddleware 改造使得这个 middleware 能够发现代理不可用, 并且在发现不可用的时候切换到另一个代理.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/410589

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX