小白写爬虫爬 b 站直播弹幕 F12 后找不到 msg,求助。。

2018-11-19 21:50:44 +08:00
 yellowtail

用的手机热点上网速度大概 0.5Mbps 不到,很卡,不知道是不是因为网速的原因还是 b 站改了? 浏览器是 chrome 操作系统为 window7 64

3560 次点击
所在节点    Python
9 条回复
yellowtail
2018-11-19 22:11:18 +08:00
用网页元素找到了,接着打算仿照罗攀的那本书的例子做。但是好奇,为什么我的浏览器可以一直接收弹幕,爬虫就用 timesleep...有什么好的理解吗
nlysh007
2018-11-20 09:16:27 +08:00
直播弹幕不是 websocket 么...
smallQ
2018-11-20 10:32:31 +08:00
弹幕一般是 websocket 吧,,在 WS 那一栏里面看下
no1xsyzy
2018-11-20 10:34:34 +08:00
@nlysh007 直播弹幕怎么说都是 SSE 更好吧,真用 WebSocket 做吗?而且 SSE 防爬虫也更舒服,很多 python 爬虫并不会做 SSE 适配( select/epoll ),消耗资源比服务器还大。
yellowtail
2018-11-20 19:46:15 +08:00
@no1xsyzy 哥哥们 msg 文件现在还能找到吗 想实现一个实时和弹幕互动的程序
no1xsyzy
2018-11-21 16:04:12 +08:00
@yellowtail 发工单,请求 API 接口
明明 Twitch 接口那么好就很好玩,饥荒联机观众能够通过 Twitch 发评论给主播添麻烦。
这么好玩的东西为什么没有?
kr380709959
2018-11-22 15:56:52 +08:00
@no1xsyzy b 站以前有弹幕接口,后来被人玩坏了就关闭了。内部有,但是没开放。
另外,我之前也考虑过爬取 b 站直播的弹幕和人数,后来发现是通过 websocket 来通信的,这个就有点头疼了。建议用 charles 抓 websocket 接口试试看。
xjbeta
2018-11-23 11:36:07 +08:00
github 搜索 "wss://broadcastlv.chat.bilibili.com/sub" 能找到不少参考项目
https://github.com/search?l=Python&q=wss%3A%2F%2Fbroadcastlv.chat.bilibili.com%2Fsub&type=Code

具体的原理参考 https://wuyin.io/2018/03/31/bilibili-live-crawler-and-auto-edit-recording/
大致就是连接 websocket 发一段带着房间号的 json 然后就能收到弹幕和礼物的信息了
30 秒一次心跳包
yellowtail
2018-11-26 22:05:21 +08:00
@xjbeta
1 爬取弹幕中股票代码 按时间序列保存在数据库
2 九点二十五开始统计投票 九点三十结束 实时显示前八票数 按照投票数量比得到前八股票代码比例 买对应股票并建立对应比例仓位 持有十五分钟以后清仓
3 重复 2 到 11 点 30 停止,一点到三点继续

麻烦问下,做个这样的程序大概需要多少钱啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/509418

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX