结巴分词的那个 dict.txt 是用什么工具训练出来的呢？

[Livid]

文件里包含 3 列：

词 词频 词性

貌似在 GitHub 上没有提供这个 dict.txt 的训练工具

[ryon]

同关注，希望有人提供个解决方案

[eric]

我以前做自然语言处理项目的时候是用的北大的人民日报的语料库，可以在 http://www.icl.pku.edu.cn/icl_res/ 申请下载。

这个语料库已经完成了词语切分和语料标注，简单写个脚本跑一下就能生成 dict.txt 的那个格式了。

[chundong]

jieba项目上面有说明：
> 来源主要有两个，一个是网上能下载到的1998人民日报的切分语料还有一个msr的切分语料。另一个是我自己收集的一些txt小说，用ictclas把他们切分（可能有一定误差）。 然后用python脚本统计词频。

https://github.com/fxsjy/jieba/issues/7

词库的话，搜狗有一个互联网词库， http://www.sogou.com/labs/dl/w.html

[fanzeyi]

不知道结巴用的什么，我知道一份 Google 的..

http://storage.googleapis.com/books/ngrams/books/datasetsv2.html

[ling0322]

可以找一些很大的小说合集，或者手写一个爬虫爬新闻或者博客，然后用Stanford Word Segmenter去分词，再用Stanford POS Tagger去标注词性。这两个软件都是开源的。
最后再写一个脚本统计每个词对应的词性出现的次数就OK了