每天要处理亿级的日志文件,该怎么做?

[whnzy]

现在要做到每天处理亿级的日志文件,公司根本没有现成的系统.日志是由nginx打下的请求日志,要在日志中筛选需要的信息,有些还是加密的请求,需要解密.
我当时用python 搭建起一套系统,一天可以处理完,但是随着数据的增加,我为了提高查询数据库的速度,将一些内容放到了内存中,但是随着数据的增加,内存已经爆掉.
mongo,多维数组什么的都已经尝试过了,已经无能为力了,我刚刚毕业,没有那么多的经验,手中只有两台服务器可用,而且内存一个4G,一个1G,cpu最多的一个也才是双核的.
请教该怎么搞?

[xujif]

内存问题，只能队列处理啊，一次处理一部分，如果处理不及，只能加机器或者cpu

[repus911]

这是服务器么 估计还没我的本本配置好

[whnzy]

@xujif 我已经用了队列了,因为要进行数据挖掘,所以存储结构复杂.每次存库要查询mysql,导致速度越来越慢,所以我将信息存到了内存中.现在内存不够用了哦

[whnzy]

@repus911 QAQ,公司穷,AWS的,我的本本也比这个好

[nullcc]

elasticsearch+logstash+kibana

[zhicheng]

都用 AWS 了，还有什么解决不了的。开 spot instance 超大内存多核的机器，一个小时跑满不就好了。这个量级上，不是应该用人去解决的。

[omi4399]

买买买买买，花钱就能解决的问题

[whnzy]

@zhicheng 我擦,我得给老大提提了

[whnzy]

烦烦烦死

[julypanda]

splunk

[xdeng]

golang

[mhycy]

@whnzy 请问方便给份样本测试下么？企鹅已申请。。

[AntiGameZ]

@julypanda 估计LZ是用不起 Splunk的

[jason52]

莫非是渣浪～知乎有个开发2g怎么玩的问题

[em70]

awk 专注处理日志文件三十年

[20150517]

弄个hive不就好了？

[whnzy]

@20150517 可是没有 集群啊

[whnzy]

@xdeng 这.... 没有人会用吧

[whnzy]

@em70 = -= awk 有些还是处理不了的

[20150517]

@whnzy 一台也行，多台也行，不用一定好多集群