大众点评是不是把 ip 地址加密到了 cookie 中？还是说它可以识别到代理 ip？

[Mrrrrr10]

为什么买到的代理都被识别出来了，自己的 ip 又可以爬取，但是爬取评论必须要 cookie，所以我怀疑是不是 ip 被加密到 cookie 里面，有没有老哥说说

[scukmh]

这不是很正常的操作嘛？自己做一下 Web 开发就知道了啊，很多框架，比如 flask-login，默认的安全级别就是会加入 ip 地址验证的，建议你去爬手机客户端还靠谱一点。

[Mrrrrr10]

客户端的信息被隐藏了，都是乱码

[fork3rt]

我做过大众点评的采集，貌似是这样的。不过我的解决方案就是 IP 代理池，完全没问题啊。

[rocketman13]

代理 ip 也分质量的

[Mrrrrr10]

@fork3rt 我也是有 ip 代理池，免费的自己抓的，付费的也用了，都被识别出来，本机 ip 才可以，你用的哪一家的 ip

[fork3rt]

@Mrrrrr10 大象代理那里买的，做个重试机制，重试 10 次 不行的话，再换 IP

[fx0719]

大佬能分享下代码吗？谢谢

[Mrrrrr10]

@fork3rt 好的，我试一试，顺便问一下，有没有出现 302 被重定向到验证页面？我是用 cookie 登陆去抓评论的，您也抓评论吗？

[Mrrrrr10]

@fx0719 现在我再解决 ip 问题，过一会我放到 github，在 @你

[fork3rt]

@Mrrrrr10 嗯，我也抓的评论。 貌似有 302 的情况，不过我做了判断，只处理 status_code 200,其他的情况 我都是立刻更换代理，然后重试。

[Mrrrrr10]

@fork3rt 老哥，我换了大象代理，依旧不行啊，你模拟登陆了没有，我是用 cookie 模拟登陆的，你呢？

[fork3rt]

@Mrrrrr10 我也是用 cookie 持续会话，没遇到你这个问题

[Mrrrrr10]

@fork3rt 能分享一下源码吗

[fork3rt]

@Mrrrrr10 https://i.loli.net/2018/09/14/5b9b2f2af287c.jpg

[qybing]

我也是遇到这个问题，似乎 IP 代理被识别出来了，你们都是登录过去抓的吗？如果要大规模抓取，这样岂不是要有很多账号？

[fx0719]

楼主 github 地址多少，我关注一波

[yxh18600224123]

最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取