一天几 kw 条以上的数据量，应该用什么方法存放

[wuxiaolin]

如题，简单的select id from table where date = '2014-12-10' group by ** 都跑不了，数据好像是太大了。
像一天这么大数据量的数据库，应该使用什么引擎比较好？
或者应该怎么存放数据会比较合理跟有利于查询的？
有没有人有经验的请教下

[learnshare]

日志的话，丢到文件里。查找只能费点时间

[xjliao]

oracle的话 就按时间建表分区 然后根据时间条件查找某个表分区里的记录

[xiaogui]

这些东西，不适合保存在数据库。

[wuxiaolin]

@learnshare @xiaogui 放文件里面不方便做聚合，比较麻烦处理

[winnie2012]

1k/每行 * 10,000,000 行 = 10G 数据量，1个月300G，1年 3T 多数据
这是什么数据，怎么会这么多啊？
如果是要求查询快速，分布式存储和分布式计算是少不了。

[winnie2012]

建议看看：rethinkdb 之类的分布式数据库

[wuxiaolin]

@winnie2012 广告类的浏览日志，好，谢谢，我看看能不能解决

[winnie2012]

然后，硬盘换成 SSD 固态硬盘，各子结点之间网络带宽要求能保证。

[stranbird]

HDFS

[xiaogui]

日志保存成文件，然后后台程序跑日志文件生成统计数据。

[laven]

扔hadoop，使用mapreduce

[learnshare]

@wuxiaolin 大量的日志不应该丢到应用数据库里，严重拖慢速度

[wuxiaolin]

感谢上面的所有朋友
@xiaogui 汇总的话试过，重复过滤不明显，所以用不了这种方案
目前我们这些日志主要存放1-2个月左右，不会永久存放，我了解下大家提供的，看看适用不
现在主要由于一天数据量太大，sql读不出数据

[lbp0200]

mongodb简单，可靠

[heaton_nobu]

按日期分表
查询之前索引做好
读写分离

[xiaogui]

重复过滤？想要什么数据，就用程序跑就好了。基本跑完的原数据是可以删掉的。

[cye3s]

hadoop呗，hive做统计，hbase快速查询

[wuxiaolin]

@xiaogui 我们这块的数据要统计到独立ip，之前试过按ip进行汇总过滤重复ip的数据，一天也有3kw+的数据。数据量还是比较大

[tigerstudent]

你的date字段真的是用字符串保存的？

[xfwduke]

其实也没那么夸张
从 lz 的 sql 来看, 会先用日期收敛结果, 所以实际对象只有 kw 级别

1. 如果查询场景(也就是 sql 的类型) 不多, 可以针对性的建索引优化
2. 但是由于怎么说都是聚合查询, 频率肯定不能过高, 否则 DB 机器的 CPU 会很高

实测:
1. 1.2亿记录的表
2. 125G 数据量

select zone_id, count(*) from log_2014_11 where id_1 = 32 group by id_2;
+---------+----------+
| id_2 | count(*) |
+---------+----------+
| 1 | 4983336 |
| 2 | 3628759 |
| 3 | 120960 |
+---------+----------+
3 rows in set (9.47 sec)

id_1, id_2 是一个联合次级索引的头两个字段, 速度不算很快, 但也不算很慢

环境
1. MySQL 5.5
2. Innodb
3. 32G 内存, SSD
4, 16G buffer pool