Gumbel-Softmax（也常称 Gumbel-Softmax trick）：一种在神经网络中对离散类别采样进行可微分近似的方法。它通过引入 Gumbel 噪声并使用带“温度参数”的 softmax，把原本不可导的离散采样变成可用于反向传播的连续近似（温度越低，越接近 one-hot 的离散选择）。该术语在深度学习与变分推断中很常见。
/ˈɡʌmbəl ˈsɔːf(t)mæks/
The Gumbel-Softmax helps us sample categories during training.
Gumbel-Softmax 可以帮助我们在训练时对类别进行采样。
By using the Gumbel-Softmax trick, the model can backpropagate through discrete choices while gradually lowering the temperature to make the samples nearly one-hot.
通过使用 Gumbel-Softmax 技巧，模型可以在离散选择上进行反向传播，并逐步降低温度参数，使采样结果接近 one-hot。
Gumbel 来自 Gumbel 分布（以统计学家 Emil Julius Gumbel 命名），常用于把均匀噪声变换为“可用于抽样选择”的扰动；Softmax 由 soft（“软的/平滑的”）+ max（“取最大”）构成，表示用平滑方式近似“取最大类别”的操作。两者结合形成一种对“从类别分布中采样”的可导近似。
Select Language