搜狗微信公众号抓取

2019-05-24 13:59:18 +08:00
 ErenJaeger

最近有个需求,抓取微信公众号文章,调研了一下。公众号抓取现在登陆之后还需要扫码才能进的去。退而其次,研究搜狗微信抓取,发现搜狗公众号页面也改版了,看以前的帖子在搜索之后的列表页直接就可以获取到微信公众号平台的链接,现在是还要请求搜狗的链接,之后给你返一段 js 代码,拼接出微信公众号平台的链接再页面重载一下才能进的去。我用 requests session 先请求列表页保存 cookie,请求那个链接还是跳转二维码验证界面。有没有大手子给点思路啊。。

2580 次点击
所在节点    Python
5 条回复
yangyaofei
2019-05-24 15:21:44 +08:00
究极办法,android 虚拟机
ErenJaeger
2019-05-24 15:36:40 +08:00
@yangyaofei 靠,终于搞定了。。太坑爹竟然在 url 里面下毒。
yangyaofei
2019-05-24 23:13:25 +08:00
感觉…人家随机改个参数…你就要重写…直接模拟才一劳永逸……
smidayou
2019-05-25 10:53:03 +08:00
反爬机制太恶心了 现在已经基本没戏了
akaayy
2019-09-01 09:02:16 +08:00
@ErenJaeger 兄弟能不能分享一下方法啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/567283

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX