py 去爬对象数据,总是被封 ip,爬着爬着爬不动。是不是只能买 ip 代理数据库?太贵了

2022-05-30 11:08:08 +08:00
 spotsung

py 去爬对象数据,总是被封 ip ,爬着爬着爬不动。是不是只能买 ip 代理数据库?太贵了。还有别的方案吗?麻烦指点讨论

1224 次点击
所在节点    问与答
5 条回复
wuwuta170
2022-05-30 12:57:15 +08:00
间隔地爬
ila
2022-05-30 13:09:31 +08:00
用 selenium 测试下,看代码问题还是时间段单 IP 请求次数问题.
第二种情况,买个鸡场服务,在起飞和本地来回切换
keepeye
2022-05-30 13:12:30 +08:00
测一下一个 ip 能用多久,我知道的动态代理一般一个 ip 有效时常 3-5 分钟,算下来也不是很贵
sadfQED2
2022-05-30 18:26:58 +08:00
尝试在这几个 http 头中瞎 jb 随机 ip 地址

REMOTE_ADDR
HTTP_VIA
HTTP_X_FORWARDED_FOR
X-Real-IP
X_FORWARDED_FOR

某些分不清这些变量区别的程序员,随便在网上 copy 了一份“获取用户真实 ip“的代码。那你瞎 jb 随机这几个头给他就然后 ip 检测了
sadfQED2
2022-05-30 18:28:35 +08:00
@sadfQED2 修正:那你瞎 jb 随机这几个头给他就绕过 ip 检测了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/856169

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX