Python 里的二维数组怎么快速（数组非常非常大）去重？

[karlxu]

例如：
[[u'aaa', u'bbb', u'ccc', u'ddd'], [u'aaa', u'eee', u'fff', u'ddd'], [u'yyy', u'aaa', u'eee', u'fff'], [u'aaa', u'bbb', u'ccc', 'eee'],[u'bbb', u'eee', u'fff'], [u'aaa', u'bbb', u'eee', u'ooo']]

这个怎么把他们合并成一维数组？去掉重复的，例如 aaa ，只保留一个 aaa 在新数组里就可以了。

[lln133208]

这种问题先在网上搜索下会比较好
https://www.zhihu.com/question/27010691

[lairdnote]

list(set(array1))

[stamaimer]

可以试试 set generator 。节省内存。