临时的抓取任务有什么更幸福的办法?

[reloop]

困扰很久的问题了

比如 https://qdan.me/?from=header

我在 firefox 用 viewXpath

结果是这样的

要一个一个复制 , 痛啊

有什么更幸福的办法吗?

[shakoon]

按键精灵、易语言做这种活最高效了

[yappa]

python requests BeautifulSoup

[reloop]

@shakoon 能详细一点吗 , 都没用过~!~

[reloop]

@yappa 这个是不是还要解决登陆的问题什么的 , 有些页面是要登陆 , 有些是 ajax 的 用这个可以完成任务?

[yappa]

ajax会比较复杂，估计要用到phantomjs，还没试过。
selenium webdriver + Beautifulsoup可以试一下。

[reloop]

@yappa 谢谢!! 我了解一下

[liad]

控制台运行：$x('//a/@href').map(function(item){return item.value}).join('\n')

[reloop]

@liad 这才是最赞的....幸福哭了