Python 新人求助 爬虫 b 站 offset 偏移量有什么规律

2022-05-30 10:50:42 +08:00
 freedom16
我想爬取 bilibili 的主页中的动态页,但是他的偏移量肯定是有规律的,但是才疏学浅没看出规律来
有没有大佬知道的,求解
[![rbecGJ.png]( https://i.im.ge/2022/05/30/rbecGJ.png)]( https://im.ge/i/rbecGJ)
3296 次点击
所在节点    Python
11 条回复
610915518
2022-05-30 11:13:06 +08:00
图裂了。一个 response data 里面包含是否有下个请求 has_more 和下一个请求的 offset
learningman
2022-05-30 11:14:40 +08:00
学一下常见的分页实现就明白了
Eiden
2022-05-30 11:19:56 +08:00
上一次返回的
Eiden
2022-05-30 11:20:49 +08:00
mekingname
2022-05-30 11:58:35 +08:00
第二个请求的 offset 来自于第一个请求返回的数据。第三次请求的 offset 来自于第二个请求返回的数据。
freedom16
2022-05-30 12:16:04 +08:00
@Eiden 谢谢
freedom16
2022-05-30 12:17:32 +08:00
@learningman 野路子,没接触过哈哈🤞
freedom16
2022-05-30 12:17:55 +08:00
@mekingname 谢谢
freedom16
2022-05-30 12:18:10 +08:00
@610915518 谢谢
filwaline
2022-05-31 13:51:34 +08:00
这种分页叫 cursor pagination
剩下的你去 Google 一下就都有了
b 站不知道怎么给命名作 offset 了，可能是为了兼容？
freedom16
2022-05-31 15:34:45 +08:00
@filwaline 我去看看,谢谢

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/856165

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX