toq: 一个分布式任务队列[Golang]

2017-11-06 21:52:41 +08:00
 herozem

之前在项目刚开始的时候有发过关于这个项目的信息,见: https://www.v2ex.com/t/401345#reply8

项目地址是: https://github.com/jiajunhuang/toq

目前的进度是基本上完成了上次所定的目标:

目前增加了新的目标:


简要的说一下大家可能会关心的问题:

1, 并发.

这个是受参数 concurrency 控制的, 假设这个参数设置的无限大, 那么就可以同时执行无限个任务, 此刻则只取决于内存和 CPU(因为模型是, 每次取一个并发 token,就开一个 goroutine 执行该任务).

2, 高可用.

基于 Redis 作为 broker 的任务队列都有丢任务的风险, 所以这个其实不是很好解决, 目前想到的办法是使用 lua 脚本来 弹出任务而不是简单的 LPOP. 这个功能会优先在引入 rabbitmq 的时候完成, 之后再加入对 redis 的支持吧, 计划是这样的.

2521 次点击
所在节点    问与答
2 条回复
admirez
2017-11-07 07:48:27 +08:00
好奇在你文中有丢任务风险的 redis 为什么还那么火
herozem
2017-11-07 10:04:55 +08:00
@admirez 第一是用 redis 的都会, 第二是并不是所有任务都需要 100%不丢, 而且丢任务是指,从 redis 拿出任务之后,如果任务队列挂了,那么 redis 是不知道的. 如果 redis 像 rabbitmq 一样提供消费确认, 就没有这种事情了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/404098

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX