Bilevel Optimization

Definition / 释义

双层优化：一种“嵌套式”的优化问题结构，由上层（leader）和下层（follower）两个优化问题组成。上层在做决策时，必须考虑下层会对上层决策作出最优响应，因此上层的可行解与目标会受到下层最优解的约束。常见于超参数调优、机制设计、博弈论（领导者-跟随者）、定价与容量规划等。
（也常被称为 bilevel programming；在不同领域表述略有差异。）

Pronunciation / 发音

/ˈbaɪˌlɛvəl ˌɑːptɪmaɪˈzeɪʃən/

Examples / 例句

We use bilevel optimization to tune the model’s hyperparameters.
我们使用双层优化来调整模型的超参数。

Bilevel optimization formulates training as an upper-level objective while the lower-level problem enforces that the network parameters minimize the training loss under given regularization.
双层优化把训练表述为上层目标，同时用下层问题约束网络参数：在给定正则化条件下使训练损失最小。

Etymology / 词源

bilevel 由 bi-（“二、双”）和 level（“层级”）构成，字面意思是“两层的”；与 optimization（“优化”）组合后表示“两层结构的优化”。该术语在运筹学与数学规划中发展起来，后被机器学习等领域借用来描述“外层目标 + 内层最优响应”的问题结构。

Related Words / 相关词

• Bilevel Programming
• Optimization
• Nested Optimization
• Hyperparameter Tuning
• Meta-learning
• Stackelberg Game
• KKT Conditions
• Implicit Differentiation

Literary Works / 文学作品

• Dempe, S. Foundations of Bilevel Programming（系统介绍双层规划的理论基础与典型问题）
• Dempe, S.; Zemkoho, A. Bilevel Optimization: Advances and Next Challenges（双层优化的研究进展与挑战综述）
• Colson, B.; Marcotte, P.; Savard, G. “An overview of bilevel optimization”（关于双层优化的经典综述性论文）
• Franceschi, L. et al. “Bilevel Programming for Hyperparameter Optimization and Meta-Learning” / “A Bilevel Optimization Approach for Hyperparameter Optimization”（机器学习中用双层优化做超参数与元学习的代表性工作）