几千列数据高速插入数据库设计

[neroanelli]

近期有一个项目，需要大量数据的高速存储。希望大家能提供一些思路。 要求： 1、数据的采集速度是 10ms 一次； 2、每次采集的数据大概有 4000 列，数据类型为双精度浮点。 我们现在使用的是 MySQL5.8，windows 平台。

[ziding]

@neroanelli 你这个需求，上 timescaledb，分析起来方便

[leorealman]

建议上时序数据库推荐 InfluxDB，10ms 写一次数据点，1 小时就是 360000

[shawshi]

kafka + elasticsearch

[iexplorer]

上消息队列

[Asice]

4000 列，这表设计就有问题
插入没有马上查询的需求，直接队列就行了

[dt2vba]

我用 goroutine 和 go-nsq，一个小时轻松插入百万条数据。很稳定。当然表的字段只有 11 个。

[swulling]

这个用时序数据库

[shiny]

反正只运行几个小时，也不需要实时读取，只需要后期导出。所以只要保证写入速度就可以。
硬件上确定下写入 io 不是瓶颈就无问题，时序数据库对这种场景优化较好。
如果真的无法突破 io 瓶颈，还有别的办法，简单的就是写入内存，再慢慢刷入 db ；复杂的可以是多台机器承担写入压力。