小程序埋点上报的数据,往 mysql 存是可以的吗

2022-07-29 17:06:33 +08:00
 Ufo666

公司小程序,加了手动埋点(他们希望数据人性化一点,而不是每个地方都打,打出来的内容很死板),所以在一些关键事件打上上报事件的 api 接口,发到服务器,服务器存入 mysql 。 现在有 38w 行记录了,感觉后面会撑爆,有点担心,要不要换个 es ?(特小一个公司)

6232 次点击
所在节点    MySQL
57 条回复
linauror
2022-07-29 17:09:49 +08:00
38W 行还好吧,到千万以上可以再考虑使用其他来存储
Ufo666
2022-07-29 17:13:39 +08:00
@linauror 还有其他事件记录的表,300w 了
dongcxcx
2022-07-29 17:14:32 +08:00
38w 的数据是多久的,日增?还是?
这些数据是必须要永久存在吗,如果类似日志这种,保留几个月即可的,定时归档把.
Ufo666
2022-07-29 17:14:34 +08:00
@linauror 小慌 ヾ(o・ω・)ノ
Ufo666
2022-07-29 17:15:32 +08:00
@dongcxcx 客户那边就说肯定要一直存着...目前日增不多,但是后面用户多了,就...就现在还是要考虑考虑
0703wzq
2022-07-29 17:16:07 +08:00
定时归档,分表存放即可
dongcxcx
2022-07-29 17:18:57 +08:00
分库分表就够了, 小公司你确定有人手来运维 es?
haya
2022-07-29 17:19:24 +08:00
单机 clickhouse 就行
Ufo666
2022-07-29 17:20:15 +08:00
@dongcxcx 不瞒您说,这里就我一个搞代码的
fiypig
2022-07-29 17:22:08 +08:00
其实没做数据分析什么的 ,一般旧数据就是垃圾数据了, 做定时清理是最好的选择
keepeye
2022-07-29 17:26:50 +08:00
不是永久保留的可以定期清理,算一下日增长,看看会维持在什么量级,千万级都不用多虑
tomczhen
2022-07-29 17:28:36 +08:00
小公司资源不足的话,代码和人有一个能跑就行了。
potatowish
2022-07-29 17:42:07 +08:00
小公司不用担心,这点数据量 mysql 撑到你跑路都没问题
richzhu
2022-07-29 17:45:07 +08:00
也不要直接写 es 吧, 最好是写到 kafka 里, 然后由 logstash 来取数据放入到 es
james2013
2022-07-29 17:54:02 +08:00
慌啥
另建 1 个表名,专门存这种埋点数据
数据少就每 1 年手动归档一张表,数据多就 3 个月手动归档 1 张表
或者直接分表存也可以
xiangyuecn
2022-07-29 17:54:52 +08:00
坚持住,再过俩月项目就黄了
brader
2022-07-29 17:59:53 +08:00
就存 mysql 就好了,小项目没必要复杂化,几十万数据不多,你等几千万了再清理都没事,log 型的数据都是有时效性的,太久的清掉就好了,觉得有用,就备份起来就好
PopRain
2022-07-29 18:04:15 +08:00
我们一年的日志已经 36G 了。。。。我还没有考虑分表
wjfz
2022-07-29 19:18:41 +08:00
小程序官方不是有个事件分析嘛
guisheng
2022-07-29 19:23:53 +08:00
写个定时任务,该表名就好了。最快解决问题。如果要查也可以做处理。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/869507

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX