怎么分析包含不同中文编码格式的内容 log 文件？

[fyooo]

工作上需要分析一些客户发过来的文件，但是实际发现文件编码很混乱，怀疑是客户也是把几个来源的内容不做转码而拼凑的，file -I 识别不了：

$ file -I logs/mv1.txt
logs/mv1.txt: text/plain; charset=unknown-8bit

用 atom 打开文件，大致如下:

写了一个函数把乱码部分提取出来，想重新编码

if __name__ == "__main__":
    cont = get_content("mv1.txt")
    #print cont.decode('gbk')
    print cont.decode('gb2312')

但是总是提示错误:

UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 0-1: illegal multibyte sequence

客户比较强势，我这边推动不了客户修改 log 文件格式，不知道大伙有解决方案么?

[binux]

按行读，分别解码

[fyooo]

@binux cont 就是按行读的思路了，把乱码的那行 "content" 单独拿出来了，但是不知道怎么解码才对

[fyooo]

用 `chardet.detect` 得到的结果是:

```
{'confidence': 0.3888443803816883, 'language': 'Turkish', 'encoding': 'Windows-1254'}
```

感觉没啥参考价值。

[enenaaa]

起码得让客户告诉你都有些什么编码

[shalk]

那到底是什么编码呢

[binux]

@fyooo #2 中文一般就 2-3 种编码，从 utf8, gbk, big5 挨个试呗。

[binux]

@fyooo #2 还有，不要用 gb2312，用 gb18030

[murmur]

这个看来按二进制切片解析然后分段 decode 了

[fyooo]

谢谢楼上几位，原来是 cont.decode('utf8').encode('gb18030')，诶!