在解码中文文本时智能地忽略无法解码的字节?

[jokester]

我想把一些中文文本(大体是gb2312/gbk/gb18030)转换到UTF8编码
这些文本中可能混入了一些错误的字节

我试过一种"贪婪的"解码方式: 在碰到(无法作为gb2312/gbk/gb18030解码的字节序列)时抛弃第一个未解码字节, 并重试解码.
这样确实能完成整个文件的解码.
但是有时会得到一串汉字乱码, 推测是碰到"无意义的汉字序列 但是是合法的汉字编码"

我怎样可以更智能地忽略错误字节, 并尽量解码成有意义的中文文本?

# 感觉这是个轮子级问题. 如果有现成的技术或实现就最好

[kfll]

iconv -c 么

-c When this option is given, characters that cannot be converted are silently discarded, instead of leading to a conversion error.

[jokester]

@kfll 对啊 解码成乱码的就这种