V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Plumbiu
V2EX  ›  分享创造

心血来潮写了一个推特图片、视频爬虫工具

  •  
  •   Plumbiu ·
    Plumbiu · 137 天前 · 2238 次点击
    这是一个创建于 137 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用的是 nodejs 写的,主要还是对 python 不太熟悉。

    大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。

    目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。

    项目的地址:

    https://github.com/Plumbiu/twid

    第 1 条附言  ·  137 天前
    看了 issue 才发现写的有问题,以后还是得先修完 BUG
    2 条回复    2024-01-03 10:30:30 +08:00
    viosey
        1
    viosey  
       137 天前 via iPhone
    Twitter 现在的 API 貌似是需要收费非?
    Plumbiu
        2
    Plumbiu  
    OP
       137 天前
    @viosey 免费的限制比较多,付费的至少每个月 100 刀乐
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2361 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:16 · PVG 20:16 · LAX 05:16 · JFK 08:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.