比如某一项任务
会触发几种不同的子任务,子任务还会继续派生新的子任务:
root->A1,A2,A3,A4....
root->B1,B2,B3,B4....
B1->C1
B1->D1->E1
所以当前要求所有的 Ai 和 Ci 都完成之后触发一个 X
当前现状: 每一个 Ai/Ci 触发之后,都能触发 X,但是 X 写入数据库,定时轮询执行 X 每分钟轮询,如果有新的且符合条件就消费掉 如果不符合条件就 hold 三分钟(从创建时间开始算),如果创建超过 3 分钟且仍然不符合条件则也消耗丢弃掉。
缺点: 如果不加三分钟的条件有可能触发的时候 Ai 和 Ci 还没处理完,有符合条件的数据还没有产生,导致 mis 掉应该被触发的 X
环境:php/mysql/rabbitmq/redis...
想问一下这种上下文的队列依赖如何处理好一些?
原始需求场景:
爬虫抓取一个节点之后开始入库判重,一个节点有多个 item,单一 item 重复则触发节点重复事件,所有 items 都不重复触发节点不重复事件(当前还无法支持)