为什么使用了代理 ip 依然被封？

目前在抓一个站，抓多会被封 ip，然后我用了代理 ip 去抓，每次请求都换一个 ip。但是依然被封了！报 429 这个错误，不知道原因是啥？

aragakiiyui

2017-10-10 12:02:10 +08:00

@yunkchen 确定有效哦，都是过滤好了的。

mrzys

2017-10-10 12:53:41 +08:00

cookie，还有代理是高匿的吗？

aragakiiyui

2017-10-10 12:54:47 +08:00

@Soar360 @mrzys 好像不是高匿的，cookie 要怎么处理？

won

2017-10-10 12:56:19 +08:00

现在黑名单规则通常用 IP+MAC 两管齐下

aragakiiyui

2017-10-10 12:57:10 +08:00

@won 那这个有什么办法处理吗？！

LGA1150

2017-10-10 13:06:56 +08:00

@won 对方服务器只能看到它网关的 MAC 地址

15399905591

2017-10-10 15:15:39 +08:00

你用的代理是什么类型的？是高匿名的吗？如果不是高匿的，对方是可以获取到你的本机 IP 的

julyclyde

2017-10-10 15:35:31 +08:00

@won 为啥总有人连基本原理都不懂就理直气壮的啊

Soar360

2017-10-10 16:02:49 +08:00

Cookie 当然是每换一次 IP 清理一下咯。
高匿代理附上：
https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/highanonymous.aspx?from=v2ex

SoulGem

2017-10-10 16:43:19 +08:00

随机高匿+随机 UA
另外检查好 Request 是否正确，可能会有别的防爬处理

aragakiiyui

2017-10-10 18:08:34 +08:00

@Soar360 3q,下午把抓代理代码的重写了一下，加入了高匿和透明的分类，明天再试试看。

aragakiiyui

2017-10-10 18:18:36 +08:00

@SoulGem 这个站就是会限制访问次数，我换了高匿的 ip 还是被发现了原始 ip....

afeicool

2017-10-10 18:25:19 +08:00

@Soar360 我去，屌爆，怎么来的？

mansur

2017-10-10 19:09:09 +08:00

你确定 ip 有效吗？你访问 http://ip.chinaz.com/ 看下放回的 ip 地址是代理的地址还是你服务器的地址

ospider

2017-10-10 19:50:36 +08:00

@Soar360 请问 post 代理是什么意思, 支持 post 么, 还有不支持 post 的代理?

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/396421

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.