V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
phpfpm
V2EX  ›  问与答

分发给队列之后,队列所有任务都完成的事件该如何触发呢

  •  
  •   phpfpm · 2020-07-14 10:14:17 +08:00 · 572 次点击
    这是一个创建于 1353 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如某一项任务

    会触发几种不同的子任务,子任务还会继续派生新的子任务:

    root->A1,A2,A3,A4....
    root->B1,B2,B3,B4....
    B1->C1
    B1->D1->E1
    

    所以当前要求所有的 Ai 和 Ci 都完成之后触发一个 X

    当前现状: 每一个 Ai/Ci 触发之后,都能触发 X,但是 X 写入数据库,定时轮询执行 X 每分钟轮询,如果有新的且符合条件就消费掉 如果不符合条件就 hold 三分钟(从创建时间开始算),如果创建超过 3 分钟且仍然不符合条件则也消耗丢弃掉。

    缺点: 如果不加三分钟的条件有可能触发的时候 Ai 和 Ci 还没处理完,有符合条件的数据还没有产生,导致 mis 掉应该被触发的 X

    环境:php/mysql/rabbitmq/redis...

    想问一下这种上下文的队列依赖如何处理好一些?

    原始需求场景:

    爬虫抓取一个节点之后开始入库判重,一个节点有多个 item,单一 item 重复则触发节点重复事件,所有 items 都不重复触发节点不重复事件(当前还无法支持)

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2422 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 16:05 · PVG 00:05 · LAX 09:05 · JFK 12:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.