V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
renshiuu
V2EX  ›  RSS

RSS 订阅 B 站视频被反爬限制了,还有其他途径订阅吗?

  •  1
     
  •   renshiuu · 276 天前 · 15053 次点击
    这是一个创建于 276 天前的主题,其中的信息可能已经有所发展或是发生改变。

    大概从 22 年底起,我开始通过 RSS 订阅 B 站的视频投稿、知乎的回答文章以及各种网页博客。

    B 站严格的反爬策略导致刷新频率一高就容易被限制,订阅的链接极其容易失效。只能通过曲线救国的方式,通过 vercel 自建订阅 UP 主的动态获取信息。

    但最近因为在看蜗牛柯基 weibo 及其他 UP 主,但由于刷新频率较高,加上 B 站严格的反爬机制,现在订阅的 B 站链接几乎全部失效,除了一个“漏网之鱼”,其余全部失效(如下图右方所示)。

    所以想问现在是否还有其它方法可以及时收到 up 主更新的消息,类似 RSS 将信息收纳其中,以便统一阅读。 个人也思考过是否能够通过电报 bot 统一订阅,但又感觉似乎不是很方便。 大家是怎么知道自己“特别关注”的 up 主更新的呢?

    13 条回复    2024-03-21 12:34:41 +08:00
    yadiman
        1
    yadiman  
       276 天前   ❤️ 3
    曲线救国,订阅 up 主的动态: https://xxx/bilibili/user/dynamic/xxxx
    june4
        2
    june4  
       276 天前   ❤️ 1
    不能通过降低刷新频率解决吗
    haonie
        3
    haonie  
       276 天前
    抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。
    haonie
        4
    haonie  
       276 天前
    抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。
    这个就是主页的元素路径
    div > div > div > div > div > div > div > div > a
    NotFoundEgg
        5
    NotFoundEgg  
       276 天前
    我是用定时轮询做的,有动态变化就推送 https://github.com/nfe-w/aio-dynamic-push
    jrbt123
        6
    jrbt123  
       276 天前
    @yadiman 哈哈 我也是这样做的
    LaoDahVong
        7
    LaoDahVong  
       276 天前
    这两天 github 上 trending 的项目不是有一个 MediaCrawler 么. 修改一下 b 站那块代码自己爬一下好了
    baobao1270
        8
    baobao1270  
       276 天前
    反爬无解。B 站的风控一塌糊涂,即使正常用户也会时常遇到验证码/429/结果为空(这个怀疑可能是 Load Balancer 的问题)的响应。只能降低频率。
    Rnreck
        9
    Rnreck  
       276 天前
    @LaoDahVong #7 删库跑路了
    LaoDahVong
        10
    LaoDahVong  
       276 天前
    @Rnreck 笑死了, 跑的好快. 不过很多 fork. 不过我看了下代码其实也没什么特殊的. 爬虫就是一个耗费精力的事情.
    @baobao1270 我试了下似乎未登录用户也可以查看 up 主投稿, 大概需要关闭一个弹出的登陆窗口. 偶尔的失败对于 RSS 应该是能接受的.
    间隙的话, 2 小时以上的间隙应该可以接受吧? 应该不至于频率过高. RSS 也就每天一看
    v2yllhwa
        11
    v2yllhwa  
       276 天前 via Android   ❤️ 1
    用客户端 grpc 接口爬。可以看看我写的 RssWorker 。
    不过我写的这个为了在 cf 上跑是手搓的 grpc ,你可以照着自己写一个在本地跑。
    laydown
        12
    laydown  
       276 天前
    订阅自己的关注的就行了,不要每一个 up 主都用 rss 订阅,那哔哩哔哩肯定受不了。
    baobao1270
        13
    baobao1270  
       276 天前
    @LaoDahVong B 站有风控模型,你没遇上。前段时间有二级运营商用户因为 IP 是穿透的导致查看用户主页跳验证码
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2788 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 08:49 · PVG 16:49 · LAX 00:49 · JFK 03:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.