日志用什么做存储会比较好？

[ayanamist]

一个应用系统的日志采用什么作为存储引擎比较好？
纯文本的方式无论是阅读还是查找都很不方便。
使用MySQL数据库等又怕性能影响……

[ayanamist]

@summic 只要不吃那么多内存，占用硬盘的话logrotate还是可以接受的。
@ratazzi 我记得MongoDB是通过把数据加载到内存里来提高访问速度的？内存里不光是索引。请指正。

[ratazzi]

@ayanamist
内存里当然不光是索引，我简单测试了下
i3 2G ubuntu x86_64
一千万数据插入 7 分钟左右，最快的一次 3 分钟，内存最高只占到 14%，并且写入过程及写入完成以后都会有变化，不过 cpu 占用有点高，不知道是不是我用 wubi 装的原因
如果你有想存数据库的想法的话，还是自己测下比较准确
按照以前的使用来看 1.6.3 以前确实是有多少内存就使用多少，但是 1.8 以后不会

[ayanamist]

@ratazzi 原来后来变化了，我是1.6的时候在Gentoo下测试的，当时的内存占用把我着实吓坏了……thx，会进一步做可行性分析～

[ayanamist]

现在在阿里做内部的日志系统，回头看这个帖子，真是有些感慨。
高写低读可以用HBase，多行的问题可以用正则匹配贪婪模式。