求推荐高压缩比的时序数据库（避雷 Tdengine）

[CraxClive]

使用了 Tdengine 2.x 近三年的时间，但是最近遇到严重的 BUG ，现在需要考虑迁移至其他数据库。

最好符合以下要求（按优先级排列，最少满足 1 和 2 即可）

1. 开源
2. 高压缩比
3. 允许冷热分级
4. 允许按照时间间隔查询数据

最后再吐槽一下 Tdengine ，删除数据后居然无法释放硬盘空间，还妄图让用户买企业版，真是滑稽至极...

Issue 1 Issue 2

[rrfeng]

开源的不就那几个…
opentsdb （ hdfs 上太重了）
influxdb （集群模式好像也要付费？）
prometheus 及其衍生物 好像不能直接当存储，可以把核心拆出来搞一下

[RedisMasterNode]

VictoriaMetrics ，参考 Grammly 使用的数据： https://victoriametrics.com/case-studies/grammarly/

[youngce]

小项目单机 influxdb 也不是不能用，大项目 MongoDB （好像只有 3 需要自己实现），也不是不能用🤣

[codegenerator]

2.高压缩比 这个是跟你的数据强相关的，没有算法能够随便做到高压缩比

如果资金充足的话可以考虑定制，本人提供优质服务

[fds]

项目里用 https://github.com/etcd-io/bbolt 也是删除后不释放空间的，所以每天新建一个文件存放，要删除时直接删文件😅

[nuII]

今天刚看到去哪儿网的监控技术详解，选的是 VictoriaMetrics

[waising]

目前小型化用的 timescaledb 数据大的 抽到 ck 然后走 ck

[CraxClive]

@nuII
@RedisMasterNode
好的，我了解一下 VictoriaMetrics

[chutianyao]

“妄图”....
人家程序员不吃饭么, 总不能一直靠爱发电吧

[zhouxiajie86]

iotdb

[chonanlee]

https://cn.cnosdb.com/

[CraxClive]

@chutianyao 开源版连最基本的 CRUD 都实现不了有什么脸让别人付费用企业版？但凡把这个特性在文档里写清楚，我都自认倒霉是我自己没做好调研，关键是他一点都没写，并且这个问题还是我删数据的时候发现不对劲的时候去查 issues 才发现的

[yinheli]

我最近对存储有兴趣，简单的看过几个 rust 相关的，你可能还是要实际的调研使用一番。

influxdb 老牌，但是大部分场景需要买商业版，比较推荐
greptimeDB 坑点未知，但是代码质量看着还是比较舒服
cnosdb 还比较新，issue 也不少，大概率要折腾，他们 B 站几乎每周都有分享


Tdengine 我之前通过给他们处理 issue ，参加他们 open day 活动拿到面试机会，经历 3 轮技术面试，可惜挂了，我面试的 rust 的岗位，但是问了很多 java ，kafka 和 go 的问题…… 据说技术团队都是 985

我对 TD 的感觉是：

- 整体代码没有 cnosdb/influxdb 这种读起来舒服……
- 虽然开源，但是大部分 issue 管理在内部，一些 PR 还与之关联，不知所云
- 版本有一些 break change 但是文档不够明确，比如 go 和 rust 驱动维护了多个版本和特性在独立的模块/分支中

[keakon]

之前测了一圈然后选择了 ClickHouse ，不过要通过 kafka 来批量插入。

[tairan2006]

opengemini 还不错

[hongye]

你的这些要求 ClickHouse 都满足。

[Geekerstar]

@CraxClive 我也遇到同样的问题，把文档翻烂都没找到说法，删除数据居然不释放空间

[CraxClive]

@Geekerstar 看 issue 有人说删对应数据库能释放空间，但是我删了一个测试环境的数据库还是不行。。。

[Geekerstar]

@CraxClive 删数据库代价太大，比如我想删除指定日期的数据，文档上都有相关语法，能删除成功，但是却没有释放空间

[CraxClive]

@Geekerstar 如果有删除指定日期的数据的需求但是不想付费的话的话建议还是换数据库吧。。。太坑了，或者你试试调整 KEEP 参数，调整 KEEP 参数的话是可以释放空间的

[qieqie]

因为存储引擎限制和避免 compaction 额外性能开销原因，分析型数据库一般不会支持实时的点删。
高效的方法一般是通过 TTL 异步淘汰，或者 drop partition 删除物理上连续的大批量数据。

[NoobPhper]

搜了下代码 好像还真没有 storage gc compaction 的代码...

[superliy]

@hongye 请教一下 ClickHouse 是不是只能少量连接，然后批量操作？不能像 mysql 这样实时有并发请求的场景？
@keakon

[superliy]

怎么没人说 starrocks

[keakon]

@superliy 写统一写到 Kafka ，由它写到 ClickHouse 。如果是国产操作系统等需要 ARM 架构，又不想自己编译支持 Kafka 的，可以自己写个程序收集消息到内存，每秒写入到 ClickHouse ；如果每秒的量在内存中存不下，也可以读 Kafka 然后写到 ClickHouse 。
读没啥限制，但是有一定延迟，可以认为是准实时的吧。

[hongye]

@superliy #23 ClickHouse 使用的 LSM-Tree 顺序操作磁盘，因此并发写的能力很强悍，我们 iot 场景有 1w 多个节点并发写入 kafka 然后吐到 ClickHouse ，几乎没有啥延迟，但是并发读取能力不好，这点需要考虑。

[sangshuduo]

因为 V2EX 帐号不好注册，我替同事转发一下。建议到 TDengine 官方微信群或者 github issue 讨论。
--

首先，2.x 开源版绝大多数版本都不支持 delete 功能，所以不知道你说的删除数据无法释放空间指的是什么，这个描述问的题不清晰。

接着，如果你指的是 drop table 之类不释放的话，2.x 版本提供了有 compact 功能可以重组数据从而释放空间，文档上有这个功能的使用方法。

其次，如果你说的是删库不能释放空间，文档上也写明白了，或者你注意观察下，被删除的数据就在 vnode_bak 目录下，清空就可以释放空间了。

最后，时序数据的清理是依靠 keep 参数按照固定时间段清理的，过期数据视为冷数据会自动清理。因此，即时释放空间作为高阶功能放在了企业版里，开源版用户只要耐心等待数据过期删除即可，只要稍微做好存储规划，不会有任何问题，没有强迫任何用户去买企业版。

[Ibrahimovic]

推荐 OceanBase ，刚好能很好地满足你的前两个需求，github 上 OceanBase 的项目地址详见： https://github.com/oceanbase/oceanbase/blob/develop/README_CN.md

[Ibrahimovic]

如果是要求时序数据库，再推荐一个 CeresDB （基于 OceanBase 分布式存储引擎设计的），官网链接详见： https://www.oceanbase.com/product/ceres