[爬虫]看一下这个网站难爬吗?

[magicfam]

http://search.anccnet.com/searchResult2.aspx 就平时自己在浏览点击差不多 10 次(相隔比较短时间内)就已经 401 了. 自己用 scrapy 爬取的时候,30 页,差不多 300 多条数据的爬取,只能获取到二十条数据. 想问这种网站爬取的话思路是怎样, 目前通过验证,用的一些免费代理的 ip 池

[Le4fun]

验证码过了么

[crawl3r]

@Le4fun 验证码太 tm 简单了，只要检测到一定数量连续的白色区域就破解了

[crab]

要稳定，租一台动态 adsl 拨号的 vps 换 IP 爬吧。

[tingyunsay]

@crab 老哥推荐个靠谱的厂商，买过的有问题，拨号那会儿偶尔断网，感觉是厂商服务不稳定导致的....

[magicfam]

@Le4fun 算是过了吧. 列表可以爬到的.就是爬不了几条.新手心态爆炸

[magicfam]

@crawl3r 我还没会那种,我的方法是里面 js 发送的一个 check_ok.再用更新头部的 cookie...这样就算是通过验证,不知道这个会有影响不.. 还是想大伙如果爬这个网站会有怎样的思路

[magicfam]

现在用 scrapy.也不知道什么问题.爬着爬着就没了...也没报错

[nccer]

有个叫阿布云的 HTTP 代理商蛮好用的。

[beforeuwait]

同 8 楼

[sml2h3]

https://github.com/sml2h3/luosimao_cracker
不谢，螺丝帽点击验证码代码层的破解，不用总是复制 cookies