Rényi Entropy

释义 Definition

Rényi 熵：信息论与概率论中的一种“熵”（不确定性/信息量）度量，是香农熵的推广形式。它由一个参数 α（alpha） 控制对概率分布“尾部/集中度”的敏感程度；当 α → 1 时，Rényi 熵收敛为香农熵。（在密码学、统计物理、机器学习与分布差异度量等领域常见。）

发音 Pronunciation (IPA)

/ˈreɪɲi ˈɛntrəpi/

例句 Examples

Rényi entropy measures uncertainty in a probability distribution using a tunable parameter α.
Rényi 熵用一个可调参数 α 来度量概率分布中的不确定性。

In privacy analysis and anomaly detection, different choices of α in Rényi entropy can emphasize rare events or dominant outcomes.
在隐私分析与异常检测中，Rényi 熵里不同的 α 取值可以突出罕见事件或更强调主要结果。

词源 Etymology

“Rényi”来自匈牙利数学家 Alfréd Rényi（阿尔弗雷德·雷尼） 的姓氏；“entropy”源自希腊语 **en-**（“在……之内”）+ tropē（“转变/变化”），后在热力学中用于表示“熵”，再被信息论借用来表示“信息的不确定性”。“Rényi entropy”即“雷尼提出的熵”的意思。

相关词 Related Words

• Shannon Entropy
• Cross-Entropy
• Kullback–Leibler Divergence
• Tsallis Entropy
• Mutual Information
• Differential Privacy

文学与著作 Literary Works

• Alfréd Rényi, On Measures of Entropy and Information（1961）
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory（常在广义熵/Rényi 熵相关章节提及）
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms（讨论信息量度量与相关推广时常出现）
• Ilya Mironov, Rényi Differential Privacy（提出并系统使用 Rényi 熵相关思想于差分隐私分析）