请教 Python 如何识别出 String 字符串，是否含有因为编码格式错误，而造成的乱码？

[uti6770werty]

在获取网页内容时候，早期没有处理好页面的编码格式 Unicode 或者 GB2312 的问题，一些中文文字是乱码，现在已经把内容读入到 String 内，如何判断出是否有乱码呢？
如：
textStringA = '����'
textStringB = '佽隴:蟯伎'

最怕就是 textStringB 这种，是有效中文，但它确实不是真实要看到的内容。。。

[mrchi]

这个不太好处理吧，建议早期就处理好

[watsy0007]

https://stackoverflow.com/questions/15918314/how-to-detect-string-byte-encoding

可以试试

[delectate]

比如长度是 10，有 5 个或以上不在 gb2312 里，就可以视为乱码了。

[no1xsyzy]

还是早期处理吧，不然可能造成流解析失败，你连 string 都没得

[ClericPy]

我之前在别人的爬虫系统里干过类似的, 这种没啥好办法, 统计 TF-IDF 找出不常见字符, 做 AC 自动机检测吧
不在乎性能的话, 自己用 Counter 找出频率比较高的, 做成一个正则检测吧

[uti6770werty]

谢谢各位，思索 10 来天，也确实没什么好办法，把这些乱码逆转回想要的编码，那更是不可能。。。。。。
重新再去获取页面，也不可能了，源站点已经把这些页面内容“过期就不放出来了”。。。。。。
现在只能老老实实把乱码的部分做缺失值处理。。。。
感谢各位热心解答~