V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mlhadoop
V2EX  ›  程序员

Q:有没有免费|付费工具能够监控网站某个数据变化,并且进行通知?

  •  
  •   mlhadoop · 2020-12-21 09:27:47 +08:00 · 3553 次点击
    这是一个创建于 1431 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景:

    想监测某个网站的数据变化,比如某疫苗新开放预约,某 xx 不定期上架等事件。然后提醒到自己。

    目前的方式是,间隔一定时间 n,发起请求跟本地数据进行比对。出现不同则推送消息给自己 [ teletgrambot ] ,不知是否还有其他更好的方式?

    附:

    细想这应该是一类问题 1- 获取数据 2- 规则匹配 3- 消息推送

    每一个子流程都能够进行抽象,不知道目前有没有这类的工具,只需要专注核心的规则匹配逻辑,满足触发条件后给自己消息提醒。

    第 1 条附言  ·  2020-12-21 11:45:28 +08:00

    感谢各位v友的分享,为方便后面类似需求的朋友,把自己处理这个问题的方式也分享下

    大致有Huginn [功能非常强大,简直就像北冥神功,可以各处吸] ,urlwatch [提供filter能力,不知道是否支持webhook] ,Distill web monitor。 IFTTT [我比较喜欢把它当成msg通道,当然有更多好玩的玩法]

    因为针对我个人的需求而言,主要考虑两点

    1. 需要对变化对数据还有后续的一些计算才算满足我的规则,所以特殊性较强。
    2. 使用的频率不算很高,可能就是某个时间段针对某个具体场景进行监测,通用性不高,脚本随时需要变动
    3. 对2的脚本已经完成

    因此,部署一套Huginn似乎感觉太过笨重。用Distill web monitor灵活性不太够。最终选择使用云函数捕获数据变化+IFTTT [完成小电报推送msg] 。或者 可以使用 github action ? [如果不违法使用协议的话]

    以上,欢迎继续补充。

    20 条回复    2020-12-22 00:38:59 +08:00
    Tink
        1
    Tink  
       2020-12-21 09:29:01 +08:00   ❤️ 2
    urlwatch
    Atukey
        2
    Atukey  
       2020-12-21 09:39:00 +08:00
    阿里云 站点监控
    omph
        3
    omph  
       2020-12-21 09:47:02 +08:00   ❤️ 1
    自己写
    PowerShell (对比数据,计划任务,发邮件)
    eason1874
        4
    eason1874  
       2020-12-21 09:47:38 +08:00   ❤️ 1
    站点监控,我用腾讯云的,可以自定义 UA,只能匹配静态的 HTML 内容,JS 改过的不行,不够用就自己用云函数撸一个吧。
    stardustree
        5
    stardustree  
       2020-12-21 09:55:52 +08:00   ❤️ 1
    Distill web monitor
    xider
        6
    xider  
       2020-12-21 10:00:19 +08:00   ❤️ 2
    IFTTT? 考虑一下 Huginn,简单配置以后支持推送到 Slack/Telegram/微信等软件
    SingeeKing
        7
    SingeeKing  
       2020-12-21 10:00:49 +08:00 via iPhone
    inoreader 前几天新出了这个功能
    hello365
        8
    hello365  
       2020-12-21 10:27:39 +08:00   ❤️ 1
    阿里云的站点监控,可以匹配内容,有免费的短信通知和邮件通知。
    bhqt
        9
    bhqt  
       2020-12-21 11:00:11 +08:00   ❤️ 1
    OpenWebMonitor3 以前用来监控价格。
    dingdangnao
        10
    dingdangnao  
       2020-12-21 12:15:48 +08:00   ❤️ 1
    hengshenyu
        11
    hengshenyu  
       2020-12-21 14:15:19 +08:00   ❤️ 1
    cloudflare worker 每日免费 100,000 次调用,还有 cron 服务。感觉很适合你
    erwim
        12
    erwim  
       2020-12-21 14:28:10 +08:00   ❤️ 1
    mlhadoop
        13
    mlhadoop  
    OP
       2020-12-21 15:08:12 +08:00
    @hengshenyu 感谢,又提供了新姿势
    EEEcho
        14
    EEEcho  
       2020-12-21 15:56:01 +08:00
    阿里云站点监控
    lx19930805
        15
    lx19930805  
       2020-12-21 16:47:38 +08:00
    刚接触,这听起来像是 RSS 订阅?
    算是 RSS 订阅和爬虫的进阶吗?

    因为我以前也想过,RSS 可以定时获取信息但是可自定义的东西不够,然后想到通过爬虫对比发信息给自己。
    但是技术不行,不懂中间对比该学什么内容,之后就一直没动过什么念头,没碰过编程了。
    docx
        16
    docx  
       2020-12-21 18:44:21 +08:00
    像那种机构网站的新闻列表,网页代码比较有规律的,我用的 Feed43 抓自定义源,然后绑定 IFTTT 进行推送。
    现在 IFTTT 收费了,改成 Rss Bot 。
    duffercn
        17
    duffercn  
       2020-12-21 18:52:14 +08:00 via iPhone
    Google Apps Script 写个自动脚本
    zszhere
        18
    zszhere  
       2020-12-21 22:40:50 +08:00 via iPhone
    没有特殊的反爬机制的话 shell 里用 watch curl grep 就能撸出来个简单的实现 /doge
    wenlep
        19
    wenlep  
       2020-12-21 23:35:31 +08:00
    http://kkno1.com/soft/5.html
    卡卡网页变化监控软件 v1.0 实时监控网页访问状态、关键词变化、局部数值变化
    http://kkno1.com/book/49.html
    zszhere
        20
    zszhere  
       2020-12-22 00:38:59 +08:00
    睡前随手撸了个 shell 版本监测端口的 上线还带 beep 的提示音 嘿嘿嘿
    $ watch -b -n 1 'if [ -z "$(nmap 127.0.0.1 -Pn -n -sT -T4 --open -p 2333 | grep open)" ]; then echo offline; else echo online;return 1; fi'
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1174 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 18:25 · PVG 02:25 · LAX 10:25 · JFK 13:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.