现在淘宝详情页销量的反爬策略是如何实现的?我使用了稳定更换 ip 的代理池,仍会被 ban。

2017-12-04 11:35:45 +08:00
 ilovebaicai
  1. 抓取淘宝商品月销量,使用淘宝页面的[detailskip.taobao.com],进行抓取。
  2. 有使用稳定的代理池,每隔一段时间更换。
  3. 如果对爬虫请求来说,如果我请求的每次 ip 地址都不一样,还会被 ban。那这个原因是什么?是需要带 cookie 去访问,还是淘宝使用了行为分析一类的策略?
  4. 帮忙一起分析下目前淘宝的反爬策略,谢谢!
15663 次点击
所在节点    Python
49 条回复
sgissb1
2017-12-05 09:55:25 +08:00
小伙,我这么给你说。就算不用爬虫,我们普通用户上去只要逛的多一点,也常常让我输入坑爹的验证信息。

也许人家的策略比你认为的还暴力。
wampyl
2017-12-05 10:18:47 +08:00
刷单的都让在页面上停留 30s,还要下拉到最后,所以他们的策略很细的。
EmmaSwan
2017-12-05 12:38:27 +08:00
我家電信,公網 ip, 整天讓我輸入驗證碼,煩得我都不樂意買了。
京東從來不需要輸驗證碼
EmmaSwan
2017-12-05 12:41:20 +08:00
@sgissb1 關鍵是,輸入一次以後,如果不換 ip,就不應該再重複讓用戶輸入。可事實上,他會持續讓你輸入,每個商品都讓你輸一次,真的不懂怎麼個思路
sgissb1
2017-12-06 09:56:35 +08:00
@EmmaSwan 这个你也遇到了?如果是真的,我前段时间就这样,幸亏我不怎么买东西。我是大半年没有开过 TB,再打开 TB,貌似就没问题了。因为路由器常年在线,所以 IP 一直是同一个公网 ip。
EmmaSwan
2017-12-07 14:53:07 +08:00
@sgissb1 经常这样,特别是傍晚到半夜这段时间. 淘宝 /天猫 /飞猪,都这样.
没有什么真的假的,我又不是京东员工,黑淘宝作甚
EmmaSwan
2017-12-07 14:57:47 +08:00
另外, 我登录支付宝, 是 100%要求短信验证! 即便喝口水回来的功夫, 也会登录失效, 并要求再次使用短信验证码登陆. 我觉得这些人就是故意的, 强迫你使用 APP.
以前我还会用花呗买东西, 现在都不乐意用了, 因为电脑上不给你对账, 你根本不知道上个月买了什么东西, 数额对不对. 用手机来对账, 在我看来非常脑残, 不仅不能一个屏幕上开计算器, 也没有数字小键盘, 而且反复上下拖动屏幕带来的拖尾效果会让眼镜很不舒服
sgissb1
2017-12-07 15:21:21 +08:00
@EmmaSwan 小伙别急,我又没怀疑你。我只是想确定你和我是否一样的遭遇,毕竟我没有 1000w
lxk11153
2020-03-06 20:15:23 +08:00
你们说的蜜罐是啥?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/411768

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX