商品名（商品描述）embedding（向量化）如何做

[stcasshern]

RT，有一个需求，就是把商品描述（不是商品 id ）用向量表示，比如商品描述“天美华乳 烘焙原料 无水奶油 草原动物黄油 350ml ”。
向量化效果考量分两方面：①比如都是“烘焙原料”，那么向量距离比较接近；②同时，可能“厨房秤”，这种经常经常一起加购物车的（类似啤酒尿布）向量也比较接近。
个人感觉首先一个问题就是分词，“天美华乳”这个很难分出来，另外目前可能考虑①就可以，大家有什么建议吗？

[c0pper]

不就是 word2vec 吗，分词找人工做就行。

[c0pper]

我不知道 NER 中文的 state of the art 现在怎么样。

[stcasshern]

@c0pper 目前是打算 w2v 来做，先试试效果吧

[stcasshern]

@c0pper 像烘焙原料这种很好分，主要是很多专有词，这些暂时没有词库