要设计一个准实时的数据流, 最后阶段每隔一分钟左右做一次入库, 这一分钟内积累的数据要暂存在哪?

[eyp82]

如题, 请教一下各位:

最近要设计一个准实时的数据流系统, 基本的功能是接受数据源发过来的数据, 做一些清洗转换, 转换成 MySQL 的数据表格式, 然后入库. 入库打算采用异步准实时的, 大概每隔一两分钟做一次批量插入数据库的操作.

请教大家, 这个时间间隔内接收到的数据, 怎么暂存(用什么库 /框架之类),会比较好一些, 现阶段暂时在考虑有没有比较简单的方案先跑起来再说; 另外如果以后要扩展, 要考虑可靠性(比如宕机尽量别丢消息)之类呢?

多谢大家.

[afpro]

看起来是 kafka 的菜？

[kulove]

redis kafka

[WhoMercy]

一分钟数据量不大可以放内存。
要宕机不丢数据，发送放得有重传机制，接收方得有持久化机制。各种消息队列+内存数据库，如 rocketMQ+Redis

[cjyang1128]

flume + kafka + storm [滑稽

[bk201]

mq 就搞定了

[eyp82]

谢谢大家, 最后用了某云服务的 message queue