2024 年 Python 实现定时任务和延时任务,性价比较高的方案是什么?

66 天前
 amon

需要实现多任务的工作流程,支持定时任务、延时任务,能上生产环境,不是玩具。

谢谢各位。

6235 次点击
所在节点    Python
57 条回复
ClericPy
66 天前
azkaban/airflow, 只要有多任务依赖关系或者定时任务的,一定要上靠谱的,不然真脚本地狱

有条件的 Serverless + 自带调度器(比如 steps 或触发器或 gateway api )也挺好,很多运维的事比开发都麻烦

(虽然在写玩具准备接管一个类似 supervisor 的场景)
HashV2
65 天前
我只用过 celery ,参数很多,文档要仔细看,不然在生产环境偶尔还是要出问题的。

另外如果你是用 django 的话,django5.0 在开发 django-tasks, 目前还是在开发阶段,稍微再等等应该就可以用了
6167
65 天前
celery+redis+rabbitmq ,定时和异步任务都用这个
atpex
65 天前
@julyclyde 肯定是 porn 打多了:p
flmn
65 天前
python 不是该先试试 Celery 么
shimada666
65 天前
@amon 还行吧,目前我们服务 xxl-job 配合 pyxxl 这个 python 接入库在跑,额外配了个钉钉告警,挺稳的调试也方便
shimada666
65 天前
技术选型的时候,其他的 airflow 什么都调研了一遍,最后还是选择 xxl-job ,部署简单,资源占用少,该有的功能(秒级定时、cron 表达式可视化编辑、日志查看、支持任务依赖、任务超时等配置)都有,上手/运维难度极低,如果你想省心,推荐这个
galileo1214
65 天前
没有一个人用 crontab 吗
clemente
65 天前
jenkins job
pollux
65 天前
我推荐使用 https://faststream.airt.ai/latest/ faststream + NATS
julyclyde
65 天前
@atpex 我还以为是打字速度太快导致的键盘混乱呢
julyclyde
65 天前
@galileo1214 正常人不会用 crontab 的
因为你不能保证 crond 一直在运行
drymonfidelia
65 天前
@shuimugan cf 这个有漏任务的概率(确定不是网络问题)
Latin
62 天前
walker001
60 天前
@drymonfidelia 有具体的案例看看么
byronwind
55 天前
airflow / celery
gmyxds
8 天前
我觉得基于 redis 的 zset 很好用,

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1057323

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX