RuntimeError: dictionary changed size during iteration

[a2z]

有个global的dict叫result，开了100个thread往这个dict里添加数据，另外还有一个线程每隔10秒执行一下json.dumps(result)，偶尔会出现这个错误。

data=base64.b64encode(zlib.compress(json.dumps(result)))
File "/usr/lib/python2.6/json/__init__.py", line 230, in dumps
return _default_encoder.encode(obj)
File "/usr/lib/python2.6/json/encoder.py", line 367, in encode
chunks = list(self.iterencode(o))
File "/usr/lib/python2.6/json/encoder.py", line 309, in _iterencode
for chunk in self._iterencode_dict(o, markers):
File "/usr/lib/python2.6/json/encoder.py", line 247, in _iterencode_dict
for key, value in items:
RuntimeError: dictionary changed size during iteration


目测是因为在json.dumps的同时其他线程写入导致的。
但是在多线程的function里用了lock还是一样的问题：
lock.acquire()
result[xx]=xxx
lock.release()

在json.dumps的地方单独加锁也是一样的问题。
但是如果在写入的地方和dumps的地方都加锁，经常会导致死锁……

[oott123]

写的时候拷贝一份出来，不知道可行么

[9hills]

1 写入加锁，其实如果能保证各个线程key基本不一样的话，可以不加锁
2 读的时候可以用 result.copy() copy出来到temp result 然后dump

[a2z]

@9hills
试过写入加锁，dump的时候无锁，还是出现一样的错误，只有写入和dump都加锁的时候才不会出错，不过这样要么很慢要么偶尔会死锁……

[a2z]

@9hills
用copy的话可能会导致数据不同步，因为dump之后会清空原有的result，所以就怕copy之后旧的result里写入了新数据，然后被清空，部分新数据就丢失了。

[henghost]

还是请高手支招吧··· 拷贝一份的话，应该也很麻烦哟·

[est]

@henghost
@a2z

为什么dump之后会清空原有result？

复制dict很简单啊

new_dict = dict(old_dict)

[a2z]

@est

其实是这样的，100个thread采集数据，存到result这个dict里面
有另外一个thread每隔30秒把result dict 转换成json然后发送出去。转换完之后就可以清空result dict让新的数据进来了。

发送数据的thread里面是while true，然后json.dumps 发送数据然后sleep 30秒。现在还有个问题就是thread一多这个发送数据的thread就会卡，经常sleep超过30秒……

[9hills]

@a2z 你主题中可没有描述dump出来清空result。。。

要想真正的线程安全，你的逻辑应该这样

100个thread把数据写到Queue中，单开一个Thread从Queue中读取数据，写入全局变量RESULT中，写入前请求RESULT_LOCK锁，写入后释放RESULT_LOCK锁

定时dump json的线程，在dump之前请求RESULT_LOCK锁，开始dump，清空dict，完成后释放RESULT_LOCK锁

这样会在你dump的过程中，停止写入，如果发生死锁，这个逻辑肯定是没问题的，你的程序有问题。。

[9hills]

注意，用try finally 保证锁一定会释放

[a2z]

debug了半天，原来是python的threading搞的鬼。看了很多stackoverflow的讨论，都建议不要用thread尽量用process，都说thread比单线程都慢……

[zhizhongzhiwai]

标准答案： json.dumps(result.copy())