Negative Log-Likelihood

释义 Definition

负对数似然（NLL）：在统计与机器学习中，把“似然（likelihood）”取对数后再取相反数得到的量，用来衡量模型对观测数据的解释程度。NLL 越小，通常表示模型对数据的拟合越好。常被用作训练时要最小化的损失函数（尤其在最大似然估计与分类/序列模型中）。

发音 Pronunciation (IPA)

/ˈnɛɡətɪv lɔːɡ ˈlaɪklihʊd/

例句 Examples

The model was trained by minimizing the negative log-likelihood.
该模型通过最小化负对数似然来训练。

In logistic regression, minimizing the negative log-likelihood is equivalent to minimizing cross-entropy under a Bernoulli model.
在逻辑回归中，在伯努利模型假设下，最小化负对数似然等价于最小化交叉熵。

词源 Etymology

该术语由三部分组成：negative（负的）+ log（对数）+ likelihood（似然）。在统计学里常先用对数把连乘的概率变为求和（更便于计算且更稳定），再取负号把“最大化对数似然”转写为优化中更常见的“最小化损失函数”，因此形成“负对数似然”。

相关词 Related Words

• Cross-Entropy
• Likelihood
• Log-Likelihood
• Loss
• Maximum Likelihood
• Optimization
• Gradient
• KL Divergence

文学与经典著作 Literary Works

• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在概率模型与训练目标中系统讨论对数似然与其负值作为目标函数的用法。
• Machine Learning: A Probabilistic Perspective（Kevin P. Murphy）——以概率图模型/监督学习为背景频繁使用 NLL 作为训练准则。
• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）——在广义线性模型与分类问题中涉及（负）对数似然的优化形式。
• Deep Learning（Goodfellow, Bengio, Courville）——在分类与生成模型章节中把 NLL 与交叉熵等损失联系起来。