分布式服务器的框架下,自动分配多台服务器分别完成执行一批任务,并考虑高可用与失败换服务器再执行,类似设计如何最优雅

2023-06-16 09:02:02 +08:00
 matepi
各种的做法,好多好多;然后公司里面自己也发明了好多

1 、用 Quartz 集群模式;但缺点是数据库得加一堆表
2 、redis 加锁并超时;可以处理超时情况,但得设施 /技术栈上就得额外引入 redis
3 、数据库建立任务表,任务记录加锁;但得自己处理超时中断、任务换手到其他服务器执行等等策略
4 、zookeeper 取锁;类似于 redis
5 、数据库建立专表,直接锁表取锁;类似于任务表,但执行粒度更粗

等等等等,为啥这种基本大家都会有的需求,没有业界事实标准性的统一轮子呢…
975 次点击
所在节点    开源软件
2 条回复
Aumujun
2023-06-16 09:26:07 +08:00
hadoop 那一套
matepi
2023-06-16 14:58:46 +08:00
@Aumujun hadoop 那套是指 mr 找 datanode 那一套?但很多的场景其实也不是这么复杂的大数据处理场景。只是类似需要一个分布式系统里面,找个节点去执行个和第三方 api 做个连接,取一些业务参数更新到本地数据库之类的事情。很简单的任务,但要保证高可用和超时失败重做等要求。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/949160

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX