女票想批量保存微博猫咪图片,就写了个微博图片爬虫下载器~

2020-12-20 10:00:12 +08:00
 jasonkayzk

Github 地址:

https://github.com/JasonkayZK/weiboPicDownloader

输入微博用户 ID,选择下载日期即可:

10331 次点击
所在节点    分享创造
94 条回复
skygee
2020-12-21 10:19:01 +08:00
这个不怕封 ip 吗
shgdym
2020-12-21 10:27:16 +08:00
@wangdefu 在我自己服务器上跑了一年多了
jasonkayzk
2020-12-21 10:31:53 +08:00
@skygee 如果不是深度使用,以 JS 单线程和设置的延时来看,这点爬虫流量应该算不了什么吧= =;
night98
2020-12-21 10:43:07 +08:00
能爬原图吗?还是普通大图?原图大小一般 3-5Mb 大小
jasonkayzk
2020-12-21 10:45:06 +08:00
@night98 应该是原图,是请求返回 json 的"large"字段;
JCZ2MkKb5S8ZX9pq
2020-12-21 11:22:34 +08:00
@jasonkayzk
试了下倒真是,这个个人首页需要登录,全部微博反而不需要权限了。
这个你试下来有频度限制嘛,访问多了会出 418 错误什么的嘛。
jasonkayzk
2020-12-21 11:34:30 +08:00
@JCZ2MkKb5S8ZX9pq 暂时没发现频度限制,本来想嵌入一个 go 并发下载的,后来想了想,万一太猛被封 IP 了呢,所以还是用 JS 吧;
JCZ2MkKb5S8ZX9pq
2020-12-21 12:00:13 +08:00
@jasonkayzk

我看了看 log,这个 mobile 版的我也抓过。不过去年请求参数限制过一阵子。所以改用 wap+有效 cookie 了。

# 20190717 已失效 改用 token 验证 尚未破解 目前只能获得前 10 条

但是现在请求参数反而简化了。感觉说不定啥时候微博又会变。
adm7n
2020-12-21 12:11:04 +08:00
微博有个好友圈功能,只有互相关注了才能看到好友圈内的微博,请问这种情况是否可以下载图片(我的账号有好友圈权限)。
fl2d
2020-12-21 12:49:47 +08:00
她可能只是想让你买只猫
jasonkayzk
2020-12-21 12:57:25 +08:00
@JCZ2MkKb5S8ZX9pq 哈哈,这个倒是有可能;爬虫这种一直都不稳定;= =
jasonkayzk
2020-12-21 12:58:15 +08:00
@adm7n 这个估计不行,得用 cookie 的方式;可以参考其他人发的解决方案;
jasonkayzk
2020-12-21 12:58:44 +08:00
@fl2d 养了的,哈哈
justfun
2020-12-21 13:59:47 +08:00
@akaayy 极其的简陋😂 主要微博返回的 json 太详细了
https://github.com/scriptway/weibo_backup
nspih
2020-12-21 14:08:15 +08:00
年轻人不讲武德,居然来爬、来偷袭我 69 岁老同志的微博。这好吗?这不好。希望你耗子尾汁
ab
2020-12-21 14:10:04 +08:00
有点意思啊
justfun
2020-12-21 14:11:21 +08:00
@adm7n 可以的 有 cookie 就行。参考我楼上发的 可以爬到
jasonkayzk
2020-12-21 14:15:52 +08:00
@ab 谢谢夸奖,哈哈
jasonkayzk
2020-12-21 14:16:32 +08:00
@nspih 二百多公斤的英国大理石都爬不动我的一个微博;
JCZ2MkKb5S8ZX9pq
2020-12-21 14:20:10 +08:00
@justfun

请问这个接口的来源是哪一端?
因为微博入口太多,你提到了取 header,可以考虑附上参考地址,因为各个入口的 header 可能不大一样。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/737159

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX