如何提取 web 日志,并存入 mysql? 在线等

[mrco]

要解决的问题是：
分析网站的每一次用户的http request日志，匹配日志中的参数name，并将参数value存储到mysql数据库指定的表中。
如：下面是一次用户访问，table中。
127.0.0.1 533 [06/Jun/2015:10:26:31 +0800]- - 200 25994 127.0.0.1 8080 GET /xgz/download?_dc=18088889999&source=gdtjf8934h9hee&title=&author=&processName=&page=1&start=0&limit=50

需要提取的部分是
_dc
source
title

谢谢!

[babyname]

awk

[mongodb]

只能告诉你使用awk..具体怎么弄可以查询awk使用方法。

[mrco]

@babyname awk出来之后如何写入mysql昵?

[cylin]

@mrco 存入数据库这部分要用php、python等语言实现了

[neo2015]

http://blog.fens.me/hadoop-mapreduce-log-kpi/

[ihciah]

import urlparse
url="127.0.0.1 533 [06/Jun/2015:10:26:31 +0800]- - 200 25994 127.0.0.1 8080 GET /xgz/download?_dc=18088889999&source=gdtjf8934h9hee&title=&author=&processName=&page=1&start=0&limit=50"
url=url[url.find('?'):]
d=dict(urlparse.parse_qsl(url))
print d['_dc']

记得转义

[ihciah]

@ihciah
纠正：url=url[url.find('?'):] -> url=url[url.find('?')+1:]
附插入数据库代码：
import pymysql
conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='', db='mylog',charset='utf8')
cur = conn.cursor()
p=lambda x:pymysql.escape_string(x)
cur.execute("INSERT INTO xx(a,b,c) VALUES('%s','%s','%s')" %(p(d['_dc']),p(d['source']),p(d['title'])))
conn.commit()
cur.close()
conn.close()

[mrco]

@ihciah 能否做到实时提取,实时插入昵?

[ihciah]

@mrco 实时是指的什么？