为什么使用了代理 ip 依然被封?

2017-10-10 11:57:55 +08:00
 aragakiiyui

目前在抓一个站,抓多会被封 ip,然后我用了代理 ip 去抓,每次请求都换一个 ip。但是依然被封了!报 429 这个错误,不知道原因是啥?

12667 次点击
所在节点    Python
30 条回复
schema
2017-10-11 08:07:24 +08:00
@won 是这样吗,怪不得我用高匿爬豆瓣会被封,一直想不通
schema
2017-10-11 08:08:23 +08:00
@Soar360 给的链接后面加 ?from=v2ex 是为了做啥?
cat9life
2017-10-11 10:35:22 +08:00
@schema 为了统计 站长肯定会好奇能带来多少访问量
hugedata
2017-10-11 10:36:55 +08:00
@Soar360 我擦,冰爷。。。
schema
2017-10-11 10:42:16 +08:00
@hugedata 这是哪位大神?为啥真的惊讶 (⊙o⊙)
Soar360
2017-10-11 11:50:29 +08:00
@ospider 嗯,有部分代理不支持 POST 的。
Soar360
2017-10-11 11:50:55 +08:00
@afeicool 扫描、爬取 ext。。
aragakiiyui
2017-10-11 14:16:31 +08:00
@Soar360 @15399905591 @mansur 我用的高匿代理,然后清了 cookie,这个站还是 429 挡我,并且把我原始的 ip 返回给我了....
yongpomat
2017-10-11 16:47:16 +08:00
有个软件专门干这个的,15 一个月,我搞批量注册用了好久了。非 vpn。ss。。
sw10
2018-02-03 09:38:24 +08:00
主要是两点:
1. 使用代理是高匿名的吗?这个可以通过 httpbin 查询到。
2. 对手网站是如何标识用户的? cookie ? token ?

#28 我用的高匿代理,然后清了 cookie,这个站还是 429 挡我,并且把我原始的 ip 返回给我了....
既然能知道你的原始 ip,那您使用的应该就不是高匿名代理。另外,也可能对方在其他处记录了您的原始 IP。

最后,我们提供代理 IP 服务,可以了解下。
/t/424630

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/396421

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX