大家有没有比较好的分词 API 推荐

[l890908]

分词断句，比如——

“我们希望 V2EX 能够成为中文世界中氛围最好的社区，而实现这个目标...”

分词为——

我们 希望 V2EX 能够 成为 中文 世界 中 氛围 最好 的 社区，而 实现 这个 目标 ...

相对智能和稳定一点，付费也可，网上搜了一些前排的，感觉都有点缺陷。

[Merlini]

既然是 nlp，还是要提百度的，推荐百度刚出的 lac 。
https://github.com/baidu/lac

[Baboonowen]

北大分词

[levelworm]

@KalaSearch 梁哥做的对吧，微博上有关注

[encro]

@laminux29

结巴分词有 2 个问题：

1.不支持新词。如果比较重要的话，可以后期人工再过滤一遍。

2.python 程序性能差，对多核支持不行。建议根据核数，开对应数量的 python 程序，然后用负载均衡的通信框架进行负载均衡地 rpc 。





1，HMM 模式支持自动发现新词。

２，运行过性能测评？那么结巴的ｃ＋＋，GO，Java 实现呢？

[mjikop1231]

deepl 的分词，除了贵还好用