哪位爬虫大仙玩过从试过从淘宝店铺爬商品?

2014-12-18 10:12:35 +08:00
 husinhu
商品展示的div是动态生成的,似乎是ajax(?),另外还用了kissy的lazyload。
我试了headless firefox (selenium),WebDriver,都没成功。
3880 次点击
所在节点    程序员
9 条回复
zealic
2014-12-18 10:14:07 +08:00
用 Casper.js http://casperjs.org/
zealic
2014-12-18 10:15:37 +08:00
Selenium 最好用 Ghost Driver,和 Caspser.js 的技术原理是一样的
binux
2014-12-18 10:20:17 +08:00
你会写一个淘宝店铺,你就会爬了。
husinhu
2014-12-18 13:57:42 +08:00
@zealic 谢谢,这个和phantomjs啥区别,你试过吗
husinhu
2014-12-18 13:58:47 +08:00
@binux 用过大神的pyspider,没搞过淘宝店铺!
scarlex
2014-12-18 14:12:19 +08:00
@husinhu 那个是封装过的 phantomjs,简单一点
icedx
2014-12-18 14:20:25 +08:00
刚看来下淘宝居然用了webp
YAFEIML
2014-12-19 15:36:34 +08:00
@zealic 头像好帅,求一个呗
zealic
2014-12-20 08:46:44 +08:00
@YAFEIML DOTA 的蓝猫歪脖子头像,当时貌似是在微博找到的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/154772

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX