一个纯 PHP 的分词

[tanszhe]

VicWord 一个纯 php 的分词

（顺便安利一下：本人从帝都回来，打算找个兼职 。如果你们正好缺个前端 或者 php 后端 不妨联系我。微信：dongxi828 ）

star 地址 https://github.com/lizhichao/VicWord

分词说明

• 含有 3 种切分方法
  • getWord 长度优先切分 。最快
  • getShortWord 细粒度切分。比最快慢一点点
  • getAutoWord 自动切分 (在相邻词做了递归) 。效果最好
• 可自定义词典，自己添加词语到词库，词库支持文本格式json和二级制格式igb 二进制格式词典小，加载快
• dict.igb含有 175662 个词
• 三种分词结果对比

$fc = new VicWord('igb');
$arr = $fc->getWord('北京大学生喝进口红酒，在北京大学生活区喝进口红酒');
//北京大学|生喝|进口|红酒|，|在|北京大学|生活区|喝|进口|红酒
//$arr 是一个数组 每个单元的结构[词语,词语位置,词性,这个词语是否包含在词典中] 这里只值列出了词语

$arr =  $fc->getShortWord('北京大学生喝进口红酒，在北京大学生活区喝进口红酒');
//北京|大学|生喝|进口|红酒|，|在|北京|大学|生活|区喝|进口|红酒

$arr = $fc->getAutoWord('北京大学生喝进口红酒，在北京大学生活区喝进口红酒');
//北京|大学生|喝|进口|红酒|，|在|北京大学|生活区|喝|进口|红酒

//准确度对比
//q 的分词和百度的分 http://nlp.qq.com/semantic.cgi#page2 http://ai.baidu.com/tech/nlp/lexical

分词速度

机器阿里云 Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz
getWord 每秒 140w 字
getShortWord 每秒 138w 字
getAutoWord 每秒 40w 字
测试文本在百度百科拷贝的一段 5000 字的文本

制作词库

• 词库支持 utf-8 的任意字符
• 词典大小不影响 分词速度
  VicDict->add(词语,词性 = null)

demo

demo

[aksoft]

php 是最好的语言

[imNull]

fork 了楼主的，简单改了改支持 composer： https://github.com/xu42/VicWord

[tanszhe]

@imNull 感谢😄，还是把 json 格式保留 方便没有安装 igbinary 的人

[qianmeng]

刚才试了一下，感觉词库的大小限制了分词效果，看来智能程序的阅读量也很重要啊

[singer]

哇塞，好厉害啊

[heybuddy]

老兄 666

[mingyun]

@imNull 安装提示

[InvalidArgumentException]
Could not find a matching version of package xu42/vic-word. Check the packa
ge spelling, your version constraint and that the package is available in a
stability which matches your minimum-stability (stable).

[arsom]

mark

[polymerdg]

mark

[imNull]

@mingyun 再试试

[imNull]

@tanszhe 安装个扩展 做一点小小的牺牲也是可以的

[TangMonk]

每个单独的 http 请求都要重新加载词库吗？

[tanszhe]

@TangMonk 可这么做 ，这样每次都会浪费加载词库的时间。可以做个服务 每次去调用就好了，这样词库就只加载一次

[TangMonk]

@tanszhe 用 apcu 来缓存可以吧

[mumu]

mark

[Outshine]

好东西，已 star

[leon1900]

棒

[wbz93815]

好东西，收藏下。

[artandlol]

安装完一直提示故障，composer 和 git 的方式都有问题。

PHP Fatal error: Uncaught Error: Call to undefined function Lizhichao\Word\igbinary_unserialize() in /data/web/vendor/lizhichao/word/Lib/VicWord.php:31