L1 Penalty

释义 Definition

L1 penalty（L1 惩罚项）：机器学习与统计中一种正则化方式，在损失函数中加入与参数绝对值之和（L1 范数）成比例的项，以抑制过拟合，并常常促使部分参数变为 0，从而产生稀疏性（相当于自动做特征选择）。在回归里最典型的形式是 LASSO。

发音 Pronunciation (IPA)

/ˌɛl ˈwʌn ˈpɛnəlti/

例句 Examples

We used an L1 penalty to make the model simpler.
我们使用 L1 惩罚项来让模型更简单。

Adding an L1 penalty can drive some coefficients exactly to zero, improving interpretability when many features are irrelevant.
加入 L1 惩罚项可能会把一些系数压到精确为 0，从而在特征很多且不少无关时提升可解释性。

词源 Etymology

L1 来自数学里的“L¹ 范数/L¹ 空间”记号，常与积分与度量（如勒贝格空间的记法）相关；在机器学习中通常指参数向量的绝对值之和（‖w‖₁）。penalty 源自拉丁语 poena（惩罚、处罚），在优化里引申为“对某种不希望出现的复杂度或行为加一个代价项”。

相关词 Related Words

• Regularization
• L1 Norm
• L2 Penalty
• Lasso
• Ridge
• Sparsity
• Shrinkage
• Elastic Net

文学与著作 Literary & Notable Works

• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）：讨论 LASSO 与以 L1 penalty 为核心的稀疏正则化思想。
• “Regression Shrinkage and Selection via the Lasso”（Tibshirani, 1996）：提出 LASSO 的经典论文，L1 惩罚项是关键构造。
• Machine Learning: A Probabilistic Perspective（Kevin P. Murphy）：在正则化与稀疏先验相关章节中使用并解释 L1 惩罚。
• Deep Learning（Goodfellow, Bengio, Courville）：在正则化方法部分提及 L1 正则/惩罚及其产生稀疏性的效果。