首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mikezhang0515
V2EX  ›  程序员

关于统计语言模型和神经网络语言模型

  •  1
     
  •   mikezhang0515 · 2016-03-03 10:49:12 +08:00 · 2591 次点击
    这是一个创建于 1448 天前的主题,其中的信息可能已经有所发展或是发生改变。

    统计语言模型好理解,根据语料库计算整句话的概率,即可根据进行判断

    那么神经网络语言模型如何对整句话的类别进行判断?这个想不清楚啊。

    我已理解单个词 的 词向量,但是不知道词向量怎么运用到整句话的类别判断上

    8 回复  |  直到 2016-03-04 15:28:47 +08:00
    glennq
        1
    glennq   2016-03-03 12:03:11 +08:00
    类别判断?语言模型的目的本来就只是给句子一个概率啊
    mikezhang0515
        3
    mikezhang0515   2016-03-03 12:53:49 +08:00
    @glennq 是这样的,我们需要做文章进行分类,只要收集一些类别进行建模,就可以按照概率进行类别划分,对吧。

    但是如果使用神经网络模型,里面都是词向量,我实在想不出来这个该如何进行文章分类
    mikezhang0515
        4
    mikezhang0515   2016-03-03 12:55:29 +08:00
    @chlx 谢谢,这个看过,但还是不太理解,可能在自然语言模型上的惯性太大了。。老想着概率该如何计算
    snnn
        5
    snnn   2016-03-03 13:09:28 +08:00 via Android
    好专业!!!!
    glennq
        6
    glennq   2016-03-04 10:47:48 +08:00
    @mikezhang0515 首先“语言模型(Language Model)”是一个专有名词,主要目的是给定一个句子,能估算出其在这门语言中的出现概率。传统做法一般是 n-gram ,而神经网络一般是用 RNN+LSTM 。
    文本分类又是另一个自然语言处理中的问题,一般做法是从每个文本中提取特征,然后就可以用任何有监督学习的方法来做了。至于词向量,你可以认为是给每个词的特征,想办法把这些组合起来变成整个文本的特征,之后就是同一个套路了
    mikezhang0515
        7
    mikezhang0515   2016-03-04 15:26:03 +08:00
    @glennq 对于词向量间,通过夹角能够得出同义词,那么通过什么可以得到相关性呢?看了很多文章,没有人这么提。
    mikezhang0515
        8
    mikezhang0515   2016-03-04 15:28:47 +08:00
    @glennq 可能相关性不是很明确,固定短语间,词向量会存在什么联系呢?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1138 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 20:04 · PVG 04:04 · LAX 12:04 · JFK 15:04
    ♥ Do have faith in what you're doing.