因为朋友是做民航的,希望能够看到未来几天内某个航段的价格情况。
就写了个爬虫,打算从协程爬取数据,因为本来我是刚接触爬虫这个东西,所以基本算是不懂了。
楼主使用的是 selenium 进行数据的爬取,代码在这里
协程的每个页面的数据需要进行下拉才能将数据显示完全。
我在办公室(网速有点慢吧,但是页面能够流畅的打开,并且我增加了 js 交互后的 sleep 时间)运行这段代码,基本上崩溃。。。看错误信息,基本上就是 WebElement 找不到(难道睡 10 秒都不够吗?)
但是,在家里,都能爬取成功。
不明所以,希望和 v 友讨论讨论。。
还有,向请教:正确的爬虫姿势是怎样的?
1
jugelizi 2015-11-21 18:13:45 +08:00
为什么不直接抓 js 请求的数据
|
2
knightdf 2015-11-21 18:40:19 +08:00
selenium 慢的一比。。。你还不如抓下他 ajax 的接口
|
4
XianZaiZhuCe 2015-11-21 18:45:07 +08:00 via Android
携程的数据不行,抓航旅的
|
5
lostsnow 2015-11-21 20:36:43 +08:00
scrapy
|
6
coolzilj 2015-11-22 23:41:51 +08:00
https://www.apifier.com/
爬虫新姿势 |