celery 库的问题

21 天前
 guoguobaba

写了一个 celery 的 worker ,和一个 run_celery.py

from myapp.celery import app as celery_app
celery_app.worker_main(argv=['worker', '--loglevel=debug', '-E', '-P', 'eventlet'])

用他启动会显示

[2024-06-06 11:28:27,149: INFO/MainProcess] Task home_application.tasks.handle_query_task[fc8f1d5e-f785-4f5e-bab8-73ba23c81217] received
[2024-06-06 11:28:27,150: DEBUG/MainProcess] TaskPool: Apply <function fast_trace_task at 0x000001F03B30EA60> (args:('home_application.tasks.handle_query_task', 'fc8f1d5e-f785-4f5e-bab8-73ba23c81217'

就卡住了。

但是用celery -A myapp worker --loglevel=debug -E -P eventlet启动,就能正常处理工作。

app/init.py

from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app

__all__ = ('celery_app',)

app/celery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

from myapp import settings

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myapp.settings')

app = Celery('myapp')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

home_application/tasks.py

@app.task
def handle_query_task(task_id, *args, **kwargs):    
    return {"status": 1, "error": "test"}
1049 次点击
所在节点    Python
6 条回复
Spute
21 天前
celery 是个基于生产消费模型的分布式任务队列,worker 只是消费者,所以你是不是没有生产任务?所以 worker 会“卡住”。
guoguobaba
21 天前
@Spute 显然不是啊,有命令行对比的,有命令传过来
zhoudaiyu
21 天前
strace 一下卡主的进程,看看在干啥
hhz
21 天前
windows 下启动的?
Hopetree
21 天前
在 Django 里面使用本身就要在命令行中启动运行,看看我这篇文章的使用,你可以使用进程管理工具,同时启动 Django 和 celery 的进程,https://tendcode.com/subject/article/django-celery/
fcfangcc
21 天前
因为命令行启动调用的不是 celery_app.worker_main ,是这个里面的方法 https://github.com/celery/celery/blob/main/celery/bin/worker.py#L298 ,我猜里面做了额外操作,可以参考他里面的逻辑

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1047304

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX