每天 800 多万条环境采集记录，用什么数据库保存比较好？

[icemanpro]

数据要保存 1 年，哪种数据库比较好？现在只会用 mysql.

[sadfQED2]

楼上有说 ck 的，也有 doris 的，那我推荐一个 starrocks 吧。根据我们压测数据来看，性能基本上全方位领先 ck

[iwishing]

TDengine

[huzhizhao]

采集应该是什么物联网设备的吧？
上个时序数据库吧，具体你就再问问其他人吧

[superliy]

@0ice 你说的是单次查询性能，我说的是 qps ，刚刚搜索了一下

ClickHouse can handle very high query per second (QPS) rates, compared to traditional data warehouses. On a single server, it can run sustain hundreds to thousands QPS, depending on query complexity. We recommend starting at a maximum of 100 queries per second, and tuning this number as needed from there.

大部分确实够用了

[superliy]

@sadfQED2 starrocks 好像挺牛的，有和时序数据库对比过吗，以后设备数据采集是不是可以直接 starrocks 了，不考虑时许数据库了？

[sadfQED2]

@superliy 我们只和 ck 对比过，我们压测了聚合和普通查询，查询性能均领先 ck 一个数量级。

并发性能和 ck 差不多

我们 72 亿数据，3 台 be 两台 fe 的技术，单机 96 核 200G 的配置，qps 只能压到 20 ，单次查询 1 秒以内（聚合 sql+having 条件过滤）

[superliy]

@sadfQED2 qps 只能压到 20 ？？
ck 的文档写 qps 至少 100 以上啊，https://clickhouse.com/docs/en/faq/general/why-clickhouse-is-so-fast#throughput-when-processing-a-large-quantity-of-short-queries

On a single server, it can run sustain hundreds to thousands QPS

qps 很小的话是不是要搞个队列缓存查询的请求啊

[sadfQED2]

@superliy 别人 ck 写的是默认配置最大 100 。实际上能达到多少 qps 得看你的查询复杂度，这类实时引擎能支持 qps 都不高，我们是在引擎前面加了 gateway ，gateway 做负载均衡，然后硬堆机器把并发堆上去

[sadfQED2]

@superliy ck 可以改配置文件，把并发 100 的限制调高，到其实意义不大，真正数据量大了，查询复杂以后，个位数并发就把 cpu 打满了。想撑并发的唯一办法就是无脑堆机器

[zagfai]

时序数据库

[codeboy18]

@sadfQED2 为啥我们测出来单表大查询下，ch 比 sr 快得多，而且 sr 对机器磁盘配置要求比 ch 高得多。

[codeboy18]

@sadfQED2 你们磁盘配置是什么样的？ hdd or ssd ?