临时的抓取任务有什么更幸福的办法?

2015-03-04 14:36:55 +08:00
 reloop

困扰很久的问题了

比如 https://qdan.me/?from=header

我在 firefox 用 viewXpath

结果是这样的

要一个一个复制 , 痛啊

有什么更幸福的办法吗?

2913 次点击
所在节点    问与答
8 条回复
shakoon
2015-03-04 15:15:34 +08:00
按键精灵、易语言做这种活最高效了
yappa
2015-03-04 15:18:36 +08:00
python requests BeautifulSoup
reloop
2015-03-04 15:34:40 +08:00
@shakoon 能详细一点吗 , 都没用过~!~
reloop
2015-03-04 15:35:57 +08:00
@yappa 这个是不是还要解决登陆的问题什么的 , 有些页面是要登陆 , 有些是 ajax 的 用这个可以完成任务?
yappa
2015-03-04 15:50:45 +08:00
ajax会比较复杂,估计要用到phantomjs,还没试过。
selenium webdriver + Beautifulsoup可以试一下。
reloop
2015-03-04 15:55:16 +08:00
@yappa 谢谢!! 我了解一下
liad
2015-03-04 16:24:52 +08:00
控制台运行:$x('//a/@href').map(function(item){return item.value}).join('\n')
reloop
2015-03-13 10:19:59 +08:00
@liad 这才是最赞的....幸福哭了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/174405

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX