请教一个关于 airflow 的问题

2020-08-11 15:38:48 +08:00
 olddog5172

我想问一下 我的 airflow 中的任务总是积压,也就是一直显示 running 中,重启之后 又好了,然后过一段时间又积压, 想请教一下 造成任务积压 有哪些原因呢? 任务觉得也不是太多 也就几十个 DAG

2312 次点击
所在节点    Python
5 条回复
brickxu
2020-08-11 18:30:26 +08:00
worker 的并行度,以及 pool 的大小。UI 上可以看到这些信息,看看是堵哪里了。
diggzhang
2020-08-11 18:38:35 +08:00
一般遇到“积压”的 web ui 呈现任务状态为灰色。
1. 检查是不是 sensor 太多了,抢占了资源
2. 扩并行度,是个配置参数,把值调大
3. 合理规划任务依赖,尽量不要发生跨 dag 依赖,可能发生乐观锁问题
caoyouming
2020-08-11 19:18:56 +08:00
看下卡住的任务的上游日志,如果是因为并行度的原因。在日志中都能找到对应的提示信息的。我之前也遇到过,后来调整了一些参数 OK 了
vipppppp
2020-08-11 19:23:36 +08:00
同一时间执行的数量超过 worker 数量?或者超过 dag 的数量?
troywinter
2020-08-12 00:45:55 +08:00
cpu 够用就直接扩大并行度,另外你的 executor 确认是不是 local,不要用 sequential

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/697391

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX