shell 脚本问题：处理 Apache 日志文件

[samaria]

求大神，刚刚写 shell ， Apache 的日志文件格式大致是这样的 127.0.0.1 - - [27/May/2016:14:58:56 +0000] "GET /platform/iphone?Version=2.0.0.4&UserName=13123&domainId= HTTP/1.0" 200 709 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36" "-" 我想要得出来的格式是，几号 | 什么设备 |版本号|使用名称这样的格式请问该怎么写，目前得出了 27/may/2016 iphone?version=2.0.0.4&username=13123 请问接下来怎么办 数据基本是这个格式，是不是该截取各个部分

[vinceguo]

这东西估计用 python 处理更好点。 shell 得字符串处理比较弱，而且可读性极差（即使用 sed 和 awk ）。
去 github 上看看有没有别人写的 apache 日志解析逻辑

[zhuangzhuang1988]

搜了下， apache 的日志模式不太好， 如果是 nginx ，支持 json 输出。 好解析多了。

[debiann]

awk ，利用 FS 分割就行了。


不需要一步到位，一点一点处理，写起来思路清楚，可读性也好

[privil]

awk 支持多个不同的分隔符 awk -F "?|&| |=" 然后重新格式化一下就好了

[234747005]

为什么不考虑用 goaccess

[samaria]

@debiann 是的，我都切割好了，但是数据文本有的地方格式不一样，可能需要的东西一个在$2 上，一个在$3 上，这怎么搞，请教大神

[samaria]

@234747005 因为这是老大派的他一个任务，就是得用 shell 写脚本

[debiann]

@samaria

不知道具体是怎么不同，有没有规律，关键词是不是固定 /有限？（这个日志文件我也没玩过）

我只能靠猜测给个思路：
如果你有了 27/may/2016 iphone?version=2.0.0.4&username=13123 这样的记录，把它变成分行的：

27/may/2016
iphone
version=2.0.0.4
username=13123

把这个结果重定向到 grep ，用关键词取出单独的一项，这样就不会受到位置不同的影响。

只是一个很粗糙的方法，如何改得更高效、优雅，你自己琢磨下吧