在用 scrapy 爬取天猫商品评价时,爬了几次后发现爬取不了了,在浏览器里打开需要输入验证码,怎么破?

2016-04-25 13:44:53 +08:00
 lls8672
因为评价是动态生成的,所以我自己按照评价页面的链接的规律构造链接,然后进行访问,下载,解析,但是几次之后,就不行了,于是我将自己构造的链接输入浏览器,提示要输验证码。。。可能是被天猫发现了,那要怎么做才能不被发现?
10383 次点击
所在节点    Python
27 条回复
herozzm
2016-04-25 23:07:12 +08:00
@9hills 求代理池
geek123
2016-04-26 09:10:08 +08:00
人工输入验证吗是终极解决办法,自动验证识别率太低。。
ZnZt
2016-04-26 09:45:57 +08:00
速度慢一点, 去找点代理
yuriko
2016-04-26 10:01:06 +08:00
你这么玩肯定被干啊……
人家反爬虫工作也不是吃素的啊……
mapleray
2016-04-26 10:18:38 +08:00
laodao
2016-06-20 23:30:32 +08:00
@pubby 你好, adsl vps 感觉只能实现本地代理,因为在内网,感觉没法给其他服务器提供代理。不知道这种拨号服务器有办法实现给其他外网服务器提供代理吗?
pubby
2016-06-20 23:35:58 +08:00
@laodao ADSL 拨号后有外网 IP 的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/274224

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX