很多数据上报到数据库然后存入数据库如何才能更优雅呢?

2020-08-25 13:50:36 +08:00
 aladdindingding

现在有很多数据是通过 http 上报到服务器,然后服务器收到数据直接写入 redis 的队列里面。 然后每个队列有单独的 python 脚本把队列里面的数据 pop 出来写入数据库。现在麻烦的就是 1.每个队列写一个脚本入库,脚本多了变得难以管理。2.当一下有大量数据上报会导致数据挤压,如果不小心还会撑爆内存。。 不知道有没有大佬有这样的场景,怎么样做才可以最优雅呢

1201 次点击
所在节点    问与答
6 条回复
walkfish
2020-08-25 14:05:16 +08:00
message queue
wysnylc
2020-08-25 14:08:44 +08:00
写个脚本生成 python 脚本啊,不要觉得搞笑这就是解决方案
aladdindingding
2020-08-25 14:17:39 +08:00
@walkfish ok 我去研究研究 之前一直是使用的 redis 的队列
aladdindingding
2020-08-25 14:18:27 +08:00
@wysnylc 套娃了。。
aladdindingding
2020-08-25 14:27:01 +08:00
还是没明白用消息队列和 redis 队列又啥区别和好处呢
wakzz
2020-08-25 15:16:54 +08:00
用 kafka 、rocketmq 之类的消息队列呀,redis 的队列太鸡肋了,还需要注意内存问题。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/701260

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX