Maximum Entropy Principle

定义 Definition

最大熵原理：在已知约束条件（如均值、总量、某些统计量等）下，选择熵最大的概率分布作为最合理的推断，因为它在不违背已知信息的前提下最少引入额外假设。常用于统计物理、信息论、机器学习与自然语言处理等领域。（在不同学科中也可能有不同表述与扩展。）

发音 Pronunciation (IPA)

/ˈmæksɪməm ˈɛntrəpi ˈprɪnsəpəl/

例句 Examples

The maximum entropy principle helps us choose a probability distribution when data is limited.
最大熵原理帮助我们在数据有限时选择一个概率分布。

Subject to constraints on expected features, the maximum entropy principle yields the least biased model consistent with what we know.
在满足特征期望等约束的前提下，最大熵原理会给出与已知信息一致且偏见最小的模型。

词源 Etymology

该术语由三部分构成：maximum（最大）+ entropy（熵）+ principle（原理）。其中 entropy 源自希腊语词根，后来在热力学中用于度量“无序/分散”，在信息论中转化为对“不确定性”的度量；“最大熵原理”的核心思想是：在信息不足时，用“最大不确定性”的方式来避免主观臆断。现代形式在20世纪由 E. T. Jaynes 在统计物理与推断框架中系统化推广。

相关词 Related Words

• Entropy
• Information
• Uncertainty
• Probability
• Inference
• Bayesian
• Prior
• Constraint
• Distribution
• Likelihood

文学与经典作品 Literary Works

• E. T. Jaynes《Information Theory and Statistical Mechanics》（论文，1957）：以信息论视角系统阐述最大熵方法在统计物理中的推断意义。
• Thomas M. Cover & Joy A. Thomas《Elements of Information Theory》：信息论教材中讨论熵及相关原理，并在相关章节涉及最大熵思想。
• David J. C. MacKay《Information Theory, Inference, and Learning Algorithms》：用学习与推断的语言讲解熵、最大熵与相关模型。
• Christopher M. Bishop《Pattern Recognition and Machine Learning》：在概率模型与指数族/对数线性模型等内容中引入与最大熵密切相关的推断框架。