srcapy 已经有了一个代理池,写入了中间件,这个代理是随机切换的,也是秒切 ip,请问一下,如何做到请求 10 次再切换 ip?

2018-09-16 12:31:15 +08:00
 Mrrrrr10

请教有经验的大佬,给我说一说,谢谢啦

2540 次点击
所在节点    Python
7 条回复
lihongjie0209
2018-09-16 12:43:09 +08:00
最简单, 你给每个 IP 使用的时候计数一下, 切换的时候检测不就好了
lasuar
2018-09-16 13:21:59 +08:00
scrapy 的 extension 中间件可以了解一下。
Mrrrrr10
2018-09-16 13:37:42 +08:00
@lasuar 怎么重置次数呢
Mrrrrr10
2018-09-16 13:37:56 +08:00
@lihongjie0209 怎么重置次数
chinvo
2018-09-16 13:54:36 +08:00
第十次的时候把你的变量改为 0

既然都自己写中间件了加个逻辑不难啊
yuan10
2018-09-17 00:32:57 +08:00
中间件里写个__init__方法,定义一个属性 self.cnt ,process_request 里计数,cnt 达到 10 就置 0,同时切 ip,这应该很简单吧
Mrrrrr10
2018-09-18 14:25:03 +08:00
@yuan10 老哥我爱你

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/489804

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX