V 站的中分分词怎么能做到如此之快的

[veike]

目前使用了 php jieba 分词，加载了自己的词库，14 万行的词库，速度太慢。 有什么好的解决方法吗？

[veike]

那我就自问自答一波了。使用 swoole 搭建一个 http 服务器，加载字典的步骤在启动 swoole http 服务器的时候就执行。速度杠杠的。swoole 太牛逼了。现在别说 100000 行的字典，20 万行的字典都没有问题了。

[KalaSearch]

好久的贴，顺手答一波

词库加载速度和分词速度应该分开来算，词库一般加载后就 singleton 一直用了。单个分词速度可以试试不同分词器来算一下。

如果分词的作用是做搜索的话，我会建议

1. 不要把分词搞太复杂，需要高精度分词才能达到优秀结果的搜索引擎体验不会好
2. 主要把工作在索引的时候做完

如果感觉分词头疼，就是需要个搜索引擎用，也懒得维护个 ES 之类，可以考虑我们做的卡拉搜索