python 解析 xml 的 bug ： coercing to Unicode: need string or buffer, NoneType found

[ivanchou]

刚开始学 python，解析 xml 的时候很奇怪的一个 bug

`TypeError: coercing to Unicode: need string or buffer, NoneType found`

----------------------
附上 gist



其中 dblp_part.xml 是要解析的源数据的一部分， 在结尾处不知道为什么 author.text 会是 None

求大神帮看一下

dblp_part.xml 文件太大

gist.github.com/bigsquirrel/396cc6c88a337505bb38 只需要下这个就可以了 包含需要的两个文件

而且这个 bug 很奇怪，完全是一个的结构，前面解析的正常，然后突然就抛 NoneType 了。关键字 ElementTree NoneType 也无果

我可以直接把 NoneType 的所有项给忽略，但我统计下了有 4w 多条这样的情况，于是不得已

错误信息在 line 24
author.text 为 NoneType

[imn1]

看看出错时 article.findall('author') 是返回什么
另外不要一棵树上吊死，单纯研究还可以，做事的话不要纠结在一个问题
如果一个地方撞墙了，就绕一下弯，例如换 lxml 试试，或者换 xpath 试试

[binux]

你的用法有误
https://docs.python.org/2/library/xml.etree.elementtree.html#xml.etree.ElementTree.iterparse，看 Note：

> iterparse() only guarantees that it has seen the “>” character of a starting tag when it emits a “start” event, so the attributes are defined, but the contents of the text and tail attributes are undefined at that point.

而当 end 的时候，你已经把 article.clear() 了

[ivanchou]

@binux 但当我注释掉 article.clear() 还是同样的错。问题出在 line 24， author.text 为 NoneType

[ivanchou]

@imn1 返回的是 None

[ivanchou]

@binux 原来是写 pyspider 的大神！
那正确的用法应该是怎样的，我之前看过这段 Note 但不是太明白，求指教

[binux]

@ivanchou
https://gist.github.com/binux/7bcdcac8c5959c4c50b8

[ivanchou]

@binux
好奇为什么在只注释掉 article.clear() 或者去掉 events=("start", "end") 的情况下都有问题，而两者都去掉就 OK 了。大神能不能再简单解释下。
还有 article 不需要及时 clear 吗？如果不及时 clear 那么跟直接 parse 有什么区别？我注意到占用内存以及开始飙升了。

[binux]

@ivanchou 去掉 events=("start", "end") 之后，只有 end event 会被 pop 出来。根据 Note，start 的时候，子元素是不全的。
去掉 clear，因为你的 article 并不是只有 article 标签，如果在 article end 之前，把 author clear 了，那就取不到东西了。如果你要释放，在 26 行 clear 即可。

使用 iterparse 的正确的方法应该是把它看做一个状态机，想好在什么标签状态干什么。在 article.tag == 'author' 的时候输出 author, 在 article.tag == 'article' 的时候 clear 和换行，而不是用 findall。

[ivanchou]

@binux 好像有点明白了，所以在 start 的时候就被 clear 掉了，但诡异的是，它在解析了若干个 element 后才报错。我再研究研究……
刚开始学习，看到有 findall 就直接用了，感觉效率上确实不够高，感谢指点。

[binux]

@ivanchou Note 上面写的是「guarantees」，意思是「保证」，在 start 的时候只「保证」有 attributes，「不保证」有子元素，又没有说「一定没有」