关于中英文分词的疑问

[kenneth]

文章中混合有英文，中文的用什么词库分词呢。

[alexkh]

jieba分词？

[swulling]

Python的话，直接Google『中文分词 Python』

中英文混合分析和中文分词有啥区别么。。多出来的英文部分不要太简单

[kenneth]

@alexkh jieba不错，是一个中文分词，我想如何中文和英文都有，那也一样的？

@swulling 肯定有区别。只是不知道区别在哪里。

[swulling]

@kenneth http://jiebademo.ap01.aws.af.cm/

[kenneth]

@swulling 感觉分词效果也不是很好，语料库还是不够。

[Eson]

分词使用的话，其效果我觉得很大程度上取决于你的词典，不然程序再怎么做也不可能尽如人意

[Hualin]

先对原文进行正则表达式匹配，把英文单词 数字 符号 和其他非中文字符进行 tokenize，然后把新的序列交给中文分词算法。
比如句子
string1：我爱 python，，，
tokenize 为
string2：我爱 `EN`SYM`SYM`SYM`
然后交给中文分词，其中 EN 代表 英文单词特征，SYM代表标点符号特征
然后进行汉字标记
string3：SSSSSS
其中 S 表示单独成词的标记，其他 label 可以为 B （一个长词的开始），M（一个长词的词中），E （一个长词的结束）。英文单词和数字以及标点也被认为是 S （单独成词的汉字）。

[buru]

@Hualin 你好，想问一下，你有用过elasticsearch吗？可否把这个步骤也交给它进行处理？

[Gestalt]

看你对准确度的要求了……
CRF++，用这个实现个中文分词然后训练语料好的话似乎召回率能到97%