这是一个创建于 2743 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司之前没有后台, 后台从 0 开始, 就我一个人.
目前服务器资源:
凌动双核 cpu 1.8g 主频,4g ddr3 800 内存, 500g 机械硬盘
亚马逊免费 rds 一台, 1c 1g 20g 空间
后台写了报文收集和简单的入库查询.
现在用户慢慢更新了应用.
每天报文量 18w+, 占用硬盘空间 20M 左右, 数据入库 60w+条, 统计的日活只有 4w 用户, 还在一直增加.
今天算了下, 按三分之一用户会更新新版来算, 这么搞很快就死了.
现在的思路是:
- 压缩单用户的数据
- 按月分表, 这也是单表千万数量级
- nosql 或索引
- 冷热数据分离, 单独搞个结果表.
现在问题来了, 有没有更好的办法, 资源比较有限 或者说做 100w 日活的后台统计, 大概需要什么什么规模的计算资源, 就亚马逊的产品来说.
 |
1
liprais 2017-05-25 17:48:08 +08:00
你想要分析啥
|
 |
2
vus520 2017-05-25 17:53:56 +08:00
60W 日活已经是不错的量级了。
楼主，我们有类似的业务，日活几百万。产品做了两年多，基本上实现了一个友盟的常见功能。我个人准备找机会商业化，做开源的友盟也好，企业服务也好。如果楼主有兴趣，我们可以详细聊聊。 |
 |
3
mengzhuo 2017-05-25 17:56:24 +08:00
可以统统塞到 ES 里面，以后慢慢分析
|
 |
8
sampeng 2017-05-25 18:49:56 +08:00
没有服务器资源，一切都是聊闲天。。。。
友盟就够用了。。为何还要自己做呢。。。 |
|
9
liprais 2017-05-25 18:57:06 +08:00
果断申请预算上 hadoop ,以后需求会越来越复杂，现在的资源是支撑不了的
|
 |
10
lavande 2017-05-25 22:31:23 +08:00
不太懂技术……不过直接用 google analytics 不行吗？
|
 |
14
SlipStupig 2017-05-25 23:04:54 +08:00
分析日志 ELK，做数据聚合 spark....
|
 |
15
echotpq 2017-05-25 23:28:56 +08:00
数据库和 web 等分离，优化表结构，mysql 和 redis 结合
|
 |
16
snail00 OP @SlipStupig #14 这个需要服务器资源, 现在只能收集日志先存着, 以后洗数据.
|
 |
18
ericls 2017-05-25 23:49:24 +08:00 via iPhone
扔进 elk 再说
|
 |
19
fatpa 2017-05-26 02:02:46 +08:00
讲道理，这个数据量如果不做用户画像之类的事情，只是普通的日常用户行为统计，rsync 和 awk 基本就解决了。
痛点应该想想百万级别日活的服务器资源怎么解决吧 |
 |
20
dangyuluo 2017-05-26 02:58:30 +08:00
Kibana，数据可视化不错。
|
|
21
dangyuluo 2017-05-26 03:02:12 +08:00
发现 ELK 系列真是神器啊，只要记录下来了，想做什么分析都可以。
|
 |
23
Hozzz 2017-05-26 09:43:00 +08:00
以楼主的数据量，I/O 肯定是个瓶颈（无论如何优化）。
|
 |
24
gamecreating 2017-05-26 09:59:05 +08:00
啥 APP...发来帮你研究下
|
 |
25
yanzixuan 2017-05-26 11:10:30 +08:00
@snail00 es 是个好东西，但是吃内存。。少于 1 一个 g 的内存玩不动。。。我在 vps 上试了一下极限情况。1g 内存，设置 jvm 吃 500m 内存。勉强能用。再跑点别的就不行了。
|
 |
26
jswh 2017-05-26 12:11:52 +08:00
我最后选了 Cassandra
|
 |
27
mingyun 2017-05-28 08:39:29 +08:00
这么多人推荐 elk
|
 |
28
firefox12 2017-05-29 08:55:25 +08:00 via iPhone
啥 app 日活 60 万？够一个人生活了吗？求 app 名字
|
Select Language