heqingpan 最近的时间轴更新
heqingpan

heqingpan

V2EX 第 88883 号会员,加入于 2014-12-28 22:40:32 +08:00
基于七牛 Python SDK 写的一个同步脚本(支持批量下载)
  •  1   
    Python  •  heqingpan  •  2015-08-28 11:40:22 AM  •  最后回复来自 Ouyangan
    1
    heqingpan 最近回复了
    @yehoha 目前还没有支持,有计划支持(已写在上面的第 3 步计划中),大概后面第二个版本可支持。
    @lujiaxing
    你说的这个应用场景,可以看看我写的 ratch-job( rust 重写的 xxl-job) 。

    ratch-job 功能上大体接近你的诉求,它兼容 xxl-job 协议,其生态上多种语言的 sdk 都有。
    不过精确到秒级的任务,我个人电脑上实际压测下来,只能稳定到每秒一万出头。

    都是 rust 写的调度服务,之前也用人问 jiascheduler 与 ratch-job 的对比异同。

    人个的观点是:楼主这个项目是偏向运维方向,ratch-job 是偏向应用业务场景。
    场景不同,冲突不大。
    @zhangxudong

    看起来你是想获取未来一小段时间哪些任务即将要运行。
    未来的调度时间,对 cron 这种比较好计算,对后面的执行后固定延迟这种不好计算。

    ----

    使用现有的全局最近执行记录功能,可能也能基本解决你这个场景的问题。

    1. 维护应用系统前,看看当前是否有正在运行的任务,没有则开始维护
    2. 维护应用过程如果有任务调度会直接失败,最近执行记录有对应失败的记录。
    3. 维护应用完成后,查看最近执行失败的记录,手动触发。后续的任务也会自动正常调度。
    上面过程可能存在边界情况,运行中的任务被杀进程。这种就要业务系统判断是否要手动补触发。

    你看看这样处理是否也可以解决你们的问题?
    @yangg
    看来目前的 readme 文档对没有使用过 xxl-job 的用户不友好,后面会优化文档增强这部分内容说明。

    我刚试了下,首页切换英文会刷新页面,首页路径权限没有被正确设置,所以被跳转到没有权限页面(目前的功能权限使用白名单模式能行)。
    其它页面没有这个问题。

    这是个小 bug 基本不影响正常使用,下个版本会修复。
    如果要查看当前时间的任务调度列表的话,可以从最近调度记录中查看具体数据。

    如果还有其它场景的统计数据需要支持,可以在项目中提 issue 详细描述一下,如果是比较通用、常用的功能会考虑支持。
    @zhangxudong
    目前的系统监控页中,有对每个间隔内的任务调度数量统计展示。有最小间隔(默认 15 秒,最小可设置为 5 秒)、分钟间隔、小时间隔三类数据,每类数据可记录展示最近 180 数据,方便查看任务在不同时间的调度水位。
    @capric
    @netme
    感谢支持鼓励😄
    @cornorj6
    namespace 算增强功能,目前暂时还不可用。

    namespace 功能启用,需要先解决它和 xxl token 映射的问题。目前有几个可选方案,不过还没有最后确定;方案确定后很快就可支持。
    @capric
    数据是写在本地的 log 和 snapshot 文件,通过 raft 协议复制到其它集群节点。

    可以把它理解为通过 raft 管理的分布式数据库。
    @Gilfoyle26
    感谢建议。
    后面 readme 内容会补充调整,增加项目文档后也可以把部分繁琐的内容放到项目文档中。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5954 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 01:52 · PVG 09:52 · LAX 18:52 · JFK 21:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.