分发给队列之后,队列所有任务都完成的事件该如何触发呢

2020-07-14 10:14:17 +08:00
 phpfpm

比如某一项任务

会触发几种不同的子任务,子任务还会继续派生新的子任务:

root->A1,A2,A3,A4....
root->B1,B2,B3,B4....
B1->C1
B1->D1->E1

所以当前要求所有的 Ai 和 Ci 都完成之后触发一个 X

当前现状: 每一个 Ai/Ci 触发之后,都能触发 X,但是 X 写入数据库,定时轮询执行 X 每分钟轮询,如果有新的且符合条件就消费掉 如果不符合条件就 hold 三分钟(从创建时间开始算),如果创建超过 3 分钟且仍然不符合条件则也消耗丢弃掉。

缺点: 如果不加三分钟的条件有可能触发的时候 Ai 和 Ci 还没处理完,有符合条件的数据还没有产生,导致 mis 掉应该被触发的 X

环境:php/mysql/rabbitmq/redis...

想问一下这种上下文的队列依赖如何处理好一些?

原始需求场景:

爬虫抓取一个节点之后开始入库判重,一个节点有多个 item,单一 item 重复则触发节点重复事件,所有 items 都不重复触发节点不重复事件(当前还无法支持)

660 次点击
所在节点    问与答
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/689797

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX