每天 60w 日活的 app 后台数据分析怎么做合适.

[snail00]

公司之前没有后台, 后台从 0 开始, 就我一个人.

目前服务器资源:

凌动双核 cpu 1.8g 主频,4g ddr3 800 内存, 500g 机械硬盘

亚马逊免费 rds 一台, 1c 1g 20g 空间

后台写了报文收集和简单的入库查询.

现在用户慢慢更新了应用.

每天报文量 18w+, 占用硬盘空间 20M 左右, 数据入库 60w+条, 统计的日活只有 4w 用户, 还在一直增加.

今天算了下, 按三分之一用户会更新新版来算, 这么搞很快就死了.

现在的思路是:

1. 压缩单用户的数据
2. 按月分表, 这也是单表千万数量级
3. nosql 或索引
4. 冷热数据分离, 单独搞个结果表.

现在问题来了, 有没有更好的办法, 资源比较有限 或者说做 100w 日活的后台统计, 大概需要什么什么规模的计算资源, 就亚马逊的产品来说.

[dangyuluo]

发现 ELK 系列真是神器啊，只要记录下来了，想做什么分析都可以。

[snail00]

@dangyuluo #21 等手头这么处理差不多了, 搭套 elk 试试.

[Hozzz]

以楼主的数据量，I/O 肯定是个瓶颈（无论如何优化）。

[gamecreating]

啥 APP...发来帮你研究下

[yanzixuan]

@snail00 es 是个好东西，但是吃内存。。少于 1 一个 g 的内存玩不动。。。我在 vps 上试了一下极限情况。1g 内存，设置 jvm 吃 500m 内存。勉强能用。再跑点别的就不行了。

[jswh]

我最后选了 Cassandra

[mingyun]

这么多人推荐 elk

[firefox12]

啥 app 日活 60 万？够一个人生活了吗？求 app 名字

[mineqiqi]

@firefox12 日活 60w 还不够一个人生活？

[snail00]

@mineqiqi #29 额, 不是一个人, 是一个公司其中的一个 app 做后台目前就我一人.

[mineqiqi]

@snail00 嗯哪，我知道不是你一个人，我回答的是 28 楼，你是不是看错头像了

[firefox12]

@mineqiqi 所以想知道什么 app