Prioritized Experience Replay

定义 Definition

“Prioritized Experience Replay（优先级经验回放）”是强化学习中的一种经验回放策略：在从回放缓冲区（replay buffer）采样训练数据时，不是均匀随机抽取，而是更频繁地抽取“更重要”的经验（通常以时间差分误差 TD error 的大小衡量），以提高学习效率与收敛速度。（该术语也常与“重要性采样修正”一起出现，用于减小抽样偏差。）

例句 Examples

We used prioritized experience replay to sample more informative transitions during training.
我们使用优先级经验回放，在训练时采样信息量更大的状态转移。

By combining prioritized experience replay with importance sampling, the agent learned faster while reducing bias from non-uniform sampling.
通过将优先级经验回放与重要性采样结合，智能体在减少非均匀采样带来偏差的同时学得更快。

发音 Pronunciation (IPA)

/praɪˈɔːrɪtaɪzd ɪkˈspɪəriəns rɪˈpleɪ/

词源与构词 Etymology

该短语由三部分组成：prioritized（赋予优先级的）、experience（经验；在强化学习中通常指交互得到的转移样本）、replay（回放；指把过去存储的经验再次用于训练）。作为术语，它流行于深度强化学习文献中，用来区别于更早期的“uniform experience replay（均匀经验回放）”。

相关词 Related Words

• Reinforcement
• Agent
• Transition
• Replay
• Buffer
• Sampling
• Bias
• Importance
• Temporal
• Convergence

文献与作品中的用例 Literary / Notable Works

• Schaul, T. et al. Prioritized Experience Replay. ICLR (2016)（常见版本为 2015 年 arXiv 预印本，2016 年会议发表）。
• Sutton, R. S. & Barto, A. G. Reinforcement Learning: An Introduction（第二版相关章节常讨论经验回放与采样问题；“prioritized experience replay”更多作为后续扩展在研究与课程材料中出现）。