MySQL 存储了 100 万个词组，给出一字符串，怎样最快找出 100 万个词组中存在的词组？

[kisshere]

MySQL 中存储的词组，比如：yellow wall，little cat，brown cat 、yellow dog 、coffee cup 之类的完全不同的词组总共 100W 行，现在给出一个句子，比如：“a little cat is sleeping behind a yellow wall with a yellow dog”，怎样以最快速度提取出这个 100W 词组中存在的词组：yellow wall，little cat 、yellow dog

[areless]

MySQL 估计做不到。。。在内存里搞一棵庞大的 trie 树，跟 ES 速度就差不多了。就是有点废内存～

[xcstream]

做一个键值对的表
key | value
yellow | yellow wall, yellow xxx,yellow xxxxxx

然后分成一个一个单词 看到 yellow 就去找这个表

方法就是怎么样
用什么数据库还是内存 都可以

[gleport]

适合用字典树来实现。把这 100 万个词组从 MySQL 读出存进一棵字典树里，不会消耗多大内存。

一百多行左右的核心代码就可以完成了：

```go
package main

import (
"fmt"

"github.com/hmgle/trie-x/go/trie"
)

func main() {
t := trie.New()
t.Insert("yellow wall", 1)
t.Insert("little cat", 1)
t.Insert("brown cat", 1)
t.Insert("yellow dog", 1)
t.Insert("coffee cup", 1)

content := "a little cat is sleeping behind a yellow wall with a yellow dog"
hits := t.ScanContent(content)
for _, hit := range hits {
fmt.Printf("word: %s, offset: %d\n", hit.Word, hit.Offset)
}
}
```

输出：

```
word: little cat, offset: 2
word: yellow wall, offset: 34
word: yellow dog, offset: 53
```

[rocky55]

100 w 好像不多直接放内存，AC 自动机，速度应该不会慢

[rocky55]

100 w 前缀树的方式存储应该也不会太占内存，如果词不是很长，如果是英文应该就更省了

[iyangyuan]

分词，倒排

[xupefei]

Boyer-Moore algorithm

[xupefei]

@xupefei 多个关键字的话就用 Aho-Corasick algorithm

[chihiro2014]

倒排索引，Radix 之类的

[gladuo]

100w AC 自动机还可以，100-200M 空间

[wangyzj]

mysql 全文检索不咋好使
上 es 把

[ifsclimbing]

e s