求解, 用爬虫抓取链接时广告乱入

2015-12-04 19:33:37 +08:00
 khaki

最近在用 python 抓取知乎的问题日志, 大概就是用 requests 库得到内容后再用 xpath 提取链接, 请求内容的时候用了代理. 刚才报错, 一看提取的链接里居然有广告...求问这是什么状况?

2045 次点击
所在节点    编程
3 条回复
est
2015-12-04 20:13:34 +08:00
requests 默认自动 302 301 跳转。被运营商劫持之类第九回跳转到广告什么的。
binux
2015-12-04 20:26:03 +08:00
1. 有的代理,特别是免费代理,会往页面里插东西,或者整个返回的就是广告
2. xpath 写得太泛, 当获得不是真正的知乎页面的时候, 也会匹配到别的东西.
leiz
2015-12-04 20:58:20 +08:00
过滤一下不就完了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/241224

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX