我想写一个文本纠正程序，问题来了，面对各种 txt，我怎样才能智能的识别各种编码？

[EnginDee]

我想写一个文本纠正程序，问题来了，面对各种 txt ，我怎样才能智能的识别各种编码？

我的这个程序，就是简单调整有些下载的 txt ，有些被插入大量的换行符， 我的程序，就是把这些不该有的换行符删除。 纠正常见的基本错误。 这样阅读器打开文本，排版就正常一些了。

[EnginDee]

我可能会使用 node js 来写。 求帮助。 Java 也行。

[UnisandK]

原理不知道，但收藏有这个功能的工具
https://beyondcow.com/textpal/

[shyling]

在 ruby 里有 valid_encoding?
node 里试试 iconv 吧
java 里用 java.nio.charset
总之就是用 Charset 按顺序一个一个试。。一定要有顺序哦

[shiny]

顺序非常重要，错了就会乱码

[busyluo]

从最严格的编码开始试，遇到不正确的内容就跳过，试下一个。 你可以参考 vim 的源码。(我没有看过 vim 源码，理论上可行)

[breeswish]

https://github.com/aadsm/jschardet

[murmur]

除了 chardet 似乎没别的方法。。。因为大家都不太喜欢 bom 头这个东西

[wangxn]

Mozilla 有个开源项目。但没办法做到 100%精确。

[xuboying]

不能识别编码，除非你上大数据，要么你让用户指定 fall back 编码

[mbbill]

@busyluo vim 是没有这个功能的

[zhuangzhuang1988]

notepad++ 的源码翻翻看..

[laoyur]

突然想起了 N 年前做 Symbian 文本阅读器的时代
智能检测 UTF-8 （ w/ w/o BOM ）、 UTF-16LE/BE 、 GBK 、 Shift-JIS 、 BIG-5

[EnginDee]

@laoyur Symbian 也是我的记忆啊……现在还怀念 s60v3 ，你当初是怎么智能识别编码的？

[busyluo]

@mbbill set fileencodings 不就是？

[mbbill]

@busyluo 这是手动设置编码，并不是楼主说的智能识别

[mbbill]

@busyluo 可能我说的不是很清楚，举个例子，比如你把 cp936 和 big5 都放到 fileencodings 里面就是没有意义的。同一个码点在不同编码里面都是合法的，这就需要用统计学的方法来探测了。

[Arnie97]

怎么感觉你重造轮子了，推荐一个软件 http://www.gidot.net/typesetter/

[congeec]

vim 会像 enca, chardet 一样猜文件编码
Set fileencodings 后不跟任何内容的输出就是文件编码，加上=才是设置编码
我还经常在 UTF8 终端里用 vim 打开 GBK 编码的文件呢

[busyluo]

@mbbill 想识别编码，也只能通过这种方法了吧。想绝对准确也不可能。

[linux40]

选几个字符查找？