现在淘宝详情页销量的反爬策略是如何实现的？我使用了稳定更换 ip 的代理池，仍会被 ban。

[ilovebaicai]

1. 抓取淘宝商品月销量，使用淘宝页面的[detailskip.taobao.com]，进行抓取。
2. 有使用稳定的代理池，每隔一段时间更换。
3. 如果对爬虫请求来说，如果我请求的每次 ip 地址都不一样，还会被 ban。那这个原因是什么？是需要带 cookie 去访问，还是淘宝使用了行为分析一类的策略？
4. 帮忙一起分析下目前淘宝的反爬策略，谢谢！

[ilovebaicai]

目前发现 Amazon，也是这样的。使用了代理 ip 去请求，一段时间后，就会让你输入验证码。即使立即更换 ip，也不让访问。

[vus520]

估计是代理 IP 被记录了吧。

[ilovebaicai]

@vus520 这个可能性会有。但是我是使用 asdl 自建的代理池，IP 重复的概率不会很大。

[shaobin]

useragent ip cookie referer 等特征结合着来

[firefox12]

估计这些 ip 结合历史记录看 早就在黑名单了吧

[qu3290052]

1.ip 被拉黑
2，协议头长期没变

[150]

我天天浏览车托之家，也经常弹出个验证框，估计也把我当成了代理爬虫

[qwertty01]

使用的什么爬虫？
请求头 Cookie 之类的分析了吗？
动态爬虫之类的用了没？

[enenaaa]

似乎在哪里有人说过，淘宝反爬用的逻辑回归做判断。 也就是说 ip，浏览器信息，浏览行为都会是判断因素。
比如，如果一直只浏览某个页面， 那 99%是爬虫了。 所以需要模拟用户真实的浏览行为。

[ytmsdy]

ip，cookies，referer...
还有检查一下爬虫有没有进到蜜罐里面

[Jackeriss]

有可能会根据访问频率判断，也可能你访问了只有爬虫才会访问到的隐藏链接。

[zzNucker]

就换个 IP 就行了？ 你开玩笑吧。。

[LevineChen]

你登录了吧 爬一会会强制登录的.

[yuriko]

ip 更换频率？分钟级的？

[ilovebaicai]

目前是 12 个 ip 地址，ip 地址是 5 分钟轮流更换一次，使用随机的 user-agent，header+referer 访问，没使用 cookie。但是即使更换了 ip 地址，这个 ip 地址还是会被 ban。

[shaobin]

要么你换出来的 ip 已经再黑名单，要么特质太过明显

[ilovebaicai]

@shaobin 您能说下，这个请求的特质，具体点是什么？我现在使用的 header 是随机，ip 地址也是代理随机拨号的。

[wangxiaoer]

你 IP 5 6 分钟切换一次，header 随机，这就有可能在出现下面的情况：

同一个 ip 在 5 6 分钟内的访问，每次 header 都特么不一样。

你说这算不算特征？

[ilovebaicai]

@wangxiaoer 如果按照您的说法，我一个公司就一个出口 ip，如果有几十个人同时在访问淘宝，这也是算是同 ip，不同 header 访问，但是并不会被 ban。可能并不会是这个原因导致的。

[cheesea]

X-Forwarded-for ？
你都用上拨号了，ip 怎么才这么少，不是每次拨号都会变么。