小程序埋点上报的数据，往 mysql 存是可以的吗

[Ufo666]

公司小程序，加了手动埋点(他们希望数据人性化一点，而不是每个地方都打，打出来的内容很死板)，所以在一些关键事件打上上报事件的 api 接口，发到服务器，服务器存入 mysql 。 现在有 38w 行记录了，感觉后面会撑爆，有点担心，要不要换个 es ？(特小一个公司)

[NoString]

mysql 单表千万问题不大，正常分表就行。如果查询有聚合操作或者模糊匹配这些需求的话早点上 ES/Clickhouse 这种，结合你的场景选型就行

[Samuelcc]

可以考虑 hbase

[zhuweiyou]

小程序本来就有埋点功能,非要自己存.

[xiaoyangsa]

...非要自己存，mysql 挺好。不够就加

[learningman]

建议存成 csv 直接写文件

[shiny]

SQL 不复杂的话存上亿条都没事

[msaionyc]

这种放 mongo 也可以吧，毕竟这个日志你们应该不需要业务上的查询，字段也不需要设计

[book1925]

想借楼问下，埋点设计有什么书或者项目可以学习参考下怎么设计怎么埋点吗？

[5aSx5Lia]

感觉没有太大必要，如果没有对查询有特殊需求，需要聚合数据这样子，没有必要用 ES ，可以通过冷热数据方式进行存储（ 38w 真的很少，相信 mysql ，千万级别都顶得住）

[cp19890714]

mysql 上亿都没事，别太小看它了。只要不做太多查询就可以。
等以后要做数据分析，再考虑把数据复制到其他数据库中。

[jasonkayzk]

埋点上报分库分表就行，周表、月表

[em70]

mysql 存过几千万的埋点,一点问题都没有,定期归档就是了

[Ayanokouji]

比如按年 /按月建一堆表，写的时候加个路由，实在不行，就每年 /每月发一次版，手动指定表

[iseki]

换 PostgreSQL （暴论
讲真几十几百万行一般情况下都不会有什么问题，只要这一行太大，索引建好

[T0m008]

用什么取决于你需要怎么使用这些数据

[Felldeadbird]

数据不用的话，就是死数据。我公司有上千万的几年数据，但是基本不用。优化都不需要。当时提需求就提得响亮。结果用不响亮。 等数据量上千万，使用量频率在考虑优化。现在就去部署 ES ，我认为纯粹给自己增加工作量。

[Features]

单独建个库，日志丢里面就行，分表什么的都不用考虑

单独建库主要是为了备份主库方便

其实 100 亿行对于 MySQL 来说也不算什么

MySQL 和其他数据库自身很强大，他们在发展的历程几十年中遇到的问题比我们任何一个人一辈子遇到的问题都要多，他们也有很优雅的方式去解决这些问题

这些问题包含了超大数据
最多行数：There is a limit of (2^32)^2 (1.844E+19) rows in a MyISAM table.
最大控件：256TB
单库最大表数：20 亿

[Features]

@Features 尾部数据，是单表的指标
控件 -> 单表最大空间

[lithiumii]

前司 Matomo 埋点，直接一股脑写 mysql 了，没啥大问题

[westoy]

es 高可用的运营成本和硬件成本可比 mysql 高的多的多