在解码中文文本时智能地忽略无法解码的字节?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4226 天前的主题，其中的信息可能已经有所发展或是发生改变。

我想把一些中文文本(大体是gb2312/gbk/gb18030)转换到UTF8编码
这些文本中可能混入了一些错误的字节

我试过一种"贪婪的"解码方式: 在碰到(无法作为gb2312/gbk/gb18030解码的字节序列)时抛弃第一个未解码字节, 并重试解码.
这样确实能完成整个文件的解码.
但是有时会得到一串汉字乱码, 推测是碰到"无意义的汉字序列但是是合法的汉字编码"

我怎样可以更智能地忽略错误字节, 并尽量解码成有意义的中文文本?

# 感觉这是个轮子级问题. 如果有现成的技术或实现就最好

解码

字节

文本

2 条回复 • 2014-06-26 12:03:15 +08:00

kfll

2014 年 6 月 25 日

iconv -c 么

-c When this option is given, characters that cannot be converted are silently discarded, instead of leading to a conversion error.

jokester

2014 年 6 月 26 日

@kfll 对啊解码成乱码的就这种