请教如何爬这个网页中的内容

2016-03-30 16:37:37 +08:00
 liangxuzhai

打算爬取的网址为: https://www.wunderground.com/q/zmw:00000.1.54511

目标: 爬取页面中 “ 10-Day Weather Forecast ” 下方 ->Table ->"星期五(或者随便某一天,需要点开)" -> 抓取 "时间 气温 感觉好像 露点 湿度 状况 Precip. Liquid Precip. 风 云量 气压" 这个表格中的所有内容。

麻烦知道的给个思路,谢谢!

PS :常规的爬取网页源代码貌似不行(爬取不完全),源码中没有这个表格的数据,可能是我没有找对爬取方法。望各位赐教。

1657 次点击
所在节点    问与答
8 条回复
qwjhb
2016-03-30 16:49:46 +08:00
//*[@id="horizontal-day-89"]/div[3]/table

不就是这个 table 吗?
jugelizi
2016-03-30 17:03:22 +08:00
异步加载 f12 看一下呗
liangxuzhai
2016-03-30 17:15:18 +08:00
@qwjhb 请问这个源代码如何通过程序获得?我通过 chrome 浏览器的 F12 也是可以分析到的,但是我想通过程序自动获取每一天的天气等状况。但是我通过程序( c#或者 python )没法抓取到这部分的数据,烦请指教,谢谢!
qwjhb
2016-03-30 17:18:40 +08:00
用无头浏览器
hjq98765
2016-03-30 18:29:26 +08:00
taurenshaman
2016-03-30 21:53:34 +08:00
liangxuzhai
2016-03-31 09:15:57 +08:00
@hjq98765 谢谢!
liangxuzhai
2016-03-31 09:16:13 +08:00
@taurenshaman 顿悟,谢谢!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/267390

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX