之前在论坛问过定时任务的监控问题,发现 airflow。
现在要做数据清洗和数据挖掘的工作,发现 airflow 非常适合用来做调度。但是遇到一些问题:
使用体验
airflow 重启很慢,开始的时候总误认为服务没有启动成功
问题
在 airflow web 界面点击了 Run
,但是 job 一直处于 running 状态
比较费解,是按照 使用 Airflow 替代你的 crontab 的流程操作的。 不知道是不是有人也遇到过类似问题。
服务上的两个进程也都正常运行
[root@user_portrait 2018-03-26]# ps -aux | grep airflow
airflow 9871 0.4 0.0 324724 55788 ? S 02:23 0:22 /usr/bin/python2 /usr/bin/airflow scheduler
airflow 9882 1.9 0.1 946824 78132 ? S 02:23 1:31 /usr/bin/python2 /usr/bin/airflow webserver
airflow 9908 0.0 0.0 318008 55220 ? S 02:23 0:04 gunicorn: master [airflow-webserver]
airflow 20250 2.7 0.1 1036560 75780 ? Sl 03:38 0:02 [ready] gunicorn: worker [airflow-webserver]
airflow 20273 3.8 0.1 1036560 75780 ? Sl 03:39 0:02 [ready] gunicorn: worker [airflow-webserver]
airflow 20366 7.0 0.1 1036560 73740 ? Sl 03:39 0:02 [ready] gunicorn: worker [airflow-webserver]
airflow 20516 25.7 0.1 1036560 73740 ? Sl 03:40 0:02 [ready] gunicorn: worker [airflow-webserver]
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.