curl 抓取问题

2014-09-06 19:59:51 +08:00
 Nintendov
curl可以抓取用了js延迟加载的页面全部内容么
2634 次点击
所在节点    问与答
5 条回复
lizhijun
2014-09-06 20:41:43 +08:00
不行。
用python+scrapy吧。
Nintendov
2014-09-06 20:57:01 +08:00
@lizhijun 没接触过这个啊，它也可以模拟用户操作么
ultimate010
2014-09-06 21:04:32 +08:00
splinter完全调用浏览器，scrapy也不能执行js吧。
建议python + request +lxml，相当方便。
Nintendov
2014-09-06 21:15:08 +08:00
@ultimate010 又一个没接触过的，我去查资料学习TAT
RemRain
2014-09-06 23:09:47 +08:00
上 phantomjs，WebKit 内核，完美执行 js

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/132105

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX