浏览器 JS 都支持原生中文分词了

[est]

console.table(Array.from(new Intl.Segmenter('cn', { granularity: 'word' }).segment('工信处女干事每月经过下属科室都要亲口交代 24 口交换机等技术性器件的安装工作')))

https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Intl/Segmenter

虽然效果一般但是可以用了。。。。

[rogerer]

@eason1874 浏览器提供的这个功能还是太粗糙了，比如你的这句话「浏览器鼠标双击选中文本就是自动分词的」，浏览器把「中文」当做一个词分割出来，应该是用高频词去贪心，并没用用到 context aware 的技术

[rogerer]

@rogerer 实际上，分词并不能只通过词频去计算，特别是对于中文，错误率会很高。更精准的解决方案是让一个轻巧的 word2vec/bert based model 跑在前端，去实时地做分割。