在 flask 中 redis 订阅数据持久化到 mysql 的问题

2018-11-16 11:17:57 +08:00
 ingin

现在有一个 flask 项目,写了一个下任务的接口,下完任务需要调用第三方接口去做一个诊断服务,诊断完毕后会把结果推送到 redis 上,我需要订阅 redis 的 channel 来监控数据,所以我写了一个工具方法来监控这个 redis 的数据变化,监控到数据变化就持久化到 mysql,可是使用 gunicorn 来开四个进程跑 flask 服务的时候会同时写入 mysql 四条数据,总不能为了监控 redis 数据就只能使用一个进程来跑服务吧。

4199 次点击
所在节点    Flask
7 条回复
whl619969187
2018-11-16 11:39:19 +08:00
redis 的消息订阅是广播类型的,所有会造成重复消费;
可以用阻塞队列,起线程监听
或者用 kafka 吧这个支持同消费组一条消息只消费一次的
ingin
2018-11-16 11:41:50 +08:00
@whl619969187 #1 redis 推送数据那个是第三方接口,所以我只能在我这边做改动
whusnoopy
2018-11-16 13:13:28 +08:00
单开一个监听 redis 的服务进程? gunicorn 的 web 不去管这事

或者用 celery 之类的做定时任务,一分钟去检查一次 redis,不要让 redis 自己推送
feverzsj
2018-11-16 13:15:44 +08:00
先进 mysql
ingin
2018-11-16 13:43:46 +08:00
@whusnoopy #3 目前我就是这样做的,但这就相当于两个项目了,还是想做到在一个项目内。
whusnoopy
2018-11-16 17:40:20 +08:00
@ingin 项目还是可以是一个项目,代码在一块,只是部署时分开启一个 flask web app 和一个 celery app,另外如果需要维持 beat,还要给 celery 启一个 celery-beat
liwb2
2019-07-07 19:50:04 +08:00
实现一个外部锁,当 4 个进程取到消息之后,先取请求锁,取得锁的进程开始写 db。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/508439

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX