Python 如何提取非结构化数据

[anonymoustian]

现在有一行行的文本数据（ DNS 日志），是非结构化的，但是也有结构，比如

ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1 这种

如何提取出指定字段的行呢？ 比如过滤出 rcode=ok 的字段行，或者如何将这些数据变成结构化的，比如对应到一个 表格里，如果有的话 就为 “=” 后面的值，如果没有就为空

[matsuz]

正则表达式

[lastpass]

py 不知道。
antlr 倒是非常简单。

[anonymoustian]

@matsuz 谢谢老哥，除了正则还有什么方便的库么

[zjsxwc]

C 语言可以 sscanf

Python 可以 正则

[recall704]

如果只是这种，不是可以按空格分割吗？

[anonymoustian]

@recall704 是可以按照空格分割，但是比如说我想提 src=232.190.252.222 后面的 ip 地址，我在想有没有这种方法可以直接 getline('src') 这种 好像也不麻烦哈~ 而且字段不一定存在

[matsuz]

@lastpass 你这种结构的最合适的就是正则

```python
import re

match = re.match(
r'ad=([^ ]+)\W+cd=([^ ]+)\W+rcode=([^ ]+)\W+qdcount=([^ ]+)\W+ancount=([^ ]+)\W+nscount=([^ ]+)\W+arcount=([^ ]+)\W+src=([^ ]+)\W+dst=([^ ]+)',
'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1',
)

for i in range(1, 10):
print(match.group(i))
```

[e2c]

这么简单的文本，可以自己解析了

[CEBBCAT]

为什么我想到的是两个 spilt ？我思维太初级了？

[Kilerd]

这么简单的处理都写不出来吗？

[Kylin30]

要我这外行来搞的话，那就直接先 split 空格然后 split 等号，2 个循环就变成了一个 dict，之后处理就很随便了。每行格式固定的话，不计较什么性能代码好看的还是非常简单的。
希望有大佬来说说，看看有什么高级搞法学习一下。

[westoy]

from collections import defaultdict
import re

ini = defaultdict(lambda: None, re.findall('(?:^|\s+)([^\=]+)\=([\S]+)','''ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'''))

print(ini['helloworld'], ini['src'])


如果结构复杂一点， 比如 xx=xx xx="yy" xx='yy' xx='zz abc'这种， 用 pyparsing 更方便一点

[Levox]

``` python
>>> s = 'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'
>>>
>>> from urllib import parse
>>> d = parse.parse_qs(s.replace(' ', '&'))
>>>
>>> d['src']
['232.190.252.222']
>>>
```

[secsilm]

@CEBBCAT split 不低级，而且比 re 模块快

[911speedstar]

非结构化用正则，结构化用 xpath。。。

[mintist]

先 split，然后用个 json 来结构化存储

[lastpass]

@matsuz 不不不，正则并没有 antlr 强大。而且正则那又臭又长辣眼睛的代码无论是写还是维护都是灾难。所以，我目前项目里处理这种字符串都是使用的 antlr。

[jiaqiangbandongg]

s = "ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1"
data = dict(map(lambda x:x.split("="),str.split()))
print(data["rcode"])

[jiaqiangbandongg]

一行处理就够了

[dartabe]

split 之后存个字典 再查找键值就行了 求大佬评价一下。。。