多智能体博弈论文学习（5）Last-iterate convergence of DOGDA in Infinite-horizon Competitive Markov Games

论文原文链接：Wei C Y, Lee C W, Zhang M, et al. Last-iterate convergence of decentralized optimistic gradient descent/ascent in infinite-horizon competitive markov games[C]//Conference on learning theory. PMLR, 2021: 4259-4299.

一、前言

1.1 Decentralized 和 Centralized的区别

集中式算法需要一个中心控制器，中心控制器收集全局信息（所有智能体的动作、状态、奖励等）然后给出所有玩家的联合策略。集中式算法通常在玩家策略收敛至NE集合意义下是收敛的。

去中心化的算法无需中心控制器，算法在每个智能体上独立运行，只需要局部信息（自身的动作、相对状态、相应的奖励函数。此处原文没有提到相对状态，我觉得可能不太准确，直观上要实现交互是需要知道相对状态的）相比于集中式算法，去中心化的算法通常更通用，可以在竞争或者合作场景中使用。许多去中心化的算法满足合理性（rational）的性质。

1.2 Rational 和 Convergent的区别

rational是指无论对方采取何种固定的策略，智能体的策略都能收敛到对方的best response。convergent是指所有智能体的策略最终收敛到纳什均衡集合中。rational algorithm与convergent algorithm具有不同的优势，前者更倾向于满足个体的利益，而后者更倾向于满足整体的利益。这篇论文的动机就在于建立一种同时具备rational和convergent性质的算法。

二、主要贡献

在有限时域折扣双人零和马尔可夫博弈设定下的首个具备rational，convergent，agnostic，symmetric，并且有有限时间最后迭代收敛（finite-time last iterate convergence）保证的自博弈（self-play）分布式算法。

三、摘要

论文研究了一种有限时域折扣双人零和马尔可夫博弈，并且提出了一种可证明收敛至纳什均衡集合（Nash Equilibria, NE）的自博弈分布式算法。论文提出的算法基于最优梯度下降/上升算法（Optimistic Gradient Descent Ascent）来学习策略，使用一个critic来缓慢的学习各个状态的value function。论文提出的方法是在此设置下首个同时具备以下特性的算法：理性（rational）（当对手使用固定策略时，算法会收敛到对手的最佳响应（best response））、收敛（在自我博弈中收敛到纳什均衡集合）、无关（无需知道对手所采取的动作）、对称（算法中玩家扮演对称角色），并且享有有限时间内最后迭代收敛保证。以上特性都是去中心化算法所期望具备的。

四、主要内容

4.1 预备知识

考虑双人零和折扣马尔可夫博弈过程 $(\mathcal{S},\mathcal{A},\mathcal{B},\sigma ,p,\gamma )$，其中 $\mathcal{S}$是有限状态空间；$\mathcal{A}$ 和 $\mathcal{B}$分别是玩家1和玩家2的有限动作空间；$\sigma$是loss (payoff) function，$\sigma (s,a,b)\in [0,1]$，表明玩家1与玩家2在状态 $s$ 下分别采取动作 $a$ 和动作 $b$ 时玩家1需要支付给玩家2的代价；$p:\mathcal{S}\times \mathcal{A}\times \mathcal{B}\to {\Delta }_{\mathcal{S}}$ 是转移概率，${\Delta }_{\mathcal{S}}$ 表示 $\mathcal{S}$ 上的概率分布集合；$\frac{1}{2}\le \gamma <1$ 是折扣因子。

玩家1的一个固定策略可以描述为将每个状态映射到动作空间分布的函数 $\mathcal{S}\to {\Delta }_{\mathcal{A}}$。$x^s\in {\Delta }_{\mathcal{A}}$表示玩家1在状态 $s$ 时的动作概率分布， x = { x s } s ∈ S x=\{ x^s \}_{s\in \cal S} x={ xs}s∈S​表示玩家1的完整策略。对玩家2定义类似的动作分布 $y^s$ 和策略 y = { y s } s ∈ S y=\{ y^s \}_{s\in \cal S} y={ ys}s∈S​。进一步定义 $z^s=(x^s,y^s)\in {\Delta }_{\mathcal{A}}\times {\Delta }_{\mathcal{B}}$ 是所有玩家在 $s$ 处的联合策略， z = { z s } s ∈ S z=\{ z^s \}_{s\in \cal S} z={ zs}s∈S​。

对于一对固定策略 $(x,y)$ 以及初始状态 $s$，期望折扣值函数可以表示为

$$V_{x,y}^s=\mathbb{E}\left[\sum _{t=1}^{\infty }{\gamma }^{t-1}\sigma (s_t,a_t,b_t)|s_1=s,a_t\sim x^{s_t},b_t\sim y^{s_t},s_{t+1}\sim p(\cdot |s_t,a_t,b_t),\forall t\ge 1\right]$$

minimax值定义为

$$V_{\star }^s=\underset{x}{\min }\underset{y}{\max }{V}_{x,y}^s=\underset{y}{\max }\underset{x}{\min }{V}_{x,y}^s$$

一对固定策略 $(x_{\star },y_{\star })$ 能在状态 $s$ 达到 minimax值，则 $(x_{\star },y_{\star })$ 必然在每个状态都能达到minimax值，称这样的 $x_{\star }$ 为一个 minimax policy，$y_{\star }$ 为一个maximin policy，这样一对策略称为纳什均衡（Nash Equilibrium）。进一步地，定义
Y ⋆ s = { y ⋆ s ∈ y ⋆ : y ⋆ i s   a   m a x i m i n   p o l i c y } \mathcal{Y}_{\star}^{s}=\{y_{\star}^{s}\in y_{\star}:y_{\star} \mathrm{is~a~maximin~policy}\} Y⋆s​={ y⋆s​∈y⋆​:y⋆​is a maximin policy} 和 X ⋆ s = { x ⋆ s ∈ x ⋆ : x ⋆  is a minimax policy } \mathcal{X}_{\star}^{s}=\{x_{\star}^{s}\in x_{\star}:x_{\star}\text{ is a minimax policy}\} X⋆s​={ x⋆s​∈x⋆​:x⋆​ is a minimax policy}，并且记 ${\mathcal{Z}}_{\star }^s={\mathcal{X}}_{\star }^s\times {\mathcal{Y}}_{\star }^s$。

对于任意的 $x^s$，记它到${\mathcal{X}}_{\star }^s$ 的距离为 $\begin{array}{r}{\mathrm{dist}}_{\star }(x^s)=\underset{x_{\star }^s\in {\mathcal{X}}_{\star }^s}{\min }\Vert x_{\star }^s-x^s\Vert \end{array}$，其中$\Vert \dot{\Vert }$ 表示向量的二范数，类似地，有 ${\mathrm{dist}}_{\star }(y^s)={\min }_{y_{\star }^s\in {\mathcal{Y}}_{\star }^s}\Vert y_{\star }^s-y^s\Vert$ 以及 ${\mathrm{dist}}_{\star }(z^s)={\min }_{z_{\star }^s\in {\mathcal{Z}}_{\star }^s}\Vert z_{\star }^s-z^s\Vert =\sqrt{{\mathrm{dist}}_{\star }^2(x^s)+{\mathrm{dist}}_{\star }^2(y^s)}$。凸集 $\mathcal{U}$ 上的投影算子定义为： Π U { v } = a r g m i n u ∈ U ∥ u − v ∥ \Pi_{\mathcal{U}}\{v\}=\mathop{\mathrm{argmin}}_{u\in\mathcal{U}}\|u-v\| ΠU​{ v}=argminu∈U​∥u−v∥。

定义在状态 $s$ 处采用策略对 $(x,y)$ 的Q-function为

$$Q_{x,y}^s(a,b)=\sigma (s,a,b)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a,b)}\left[\begin{array}{c}{V}_{x,y}^{s^{\prime }}\end{array}\right]$$

上述Q-function可以写成矩阵形式，即 $Q_{x,y}^s\in {\mathbb{R}}^{|\mathcal{A}|\times |\mathcal{B}|}$ 使得 $V_{x,y}^s=x^{s^{\top }}{Q}_{x,y}^s{y}^s$。对于任意的 minimax/maximin 策略对 $(x_{\star },y_{\star })$，有唯一的最优Q-function $Q_{\star }^s=Q_{x_{\star },y_{\star }}^s$。$Q$矩阵的范数 $\Vert Q\Vert$ 定义为 ${\max }_{i,j}|Q_{i,j}|$。

Optimistic Gradient Descent Ascent （OGDA）

对于一个由 $Q\in {\mathbb{R}}^{|\mathcal{A}|\times |\mathcal{B}|}$ 定义的矩阵博弈问题，OGDA对每个玩家维护两个动作分布（策略）的序列 ，对于玩家1有${\hat{x}}_1,{\hat{x}}_2,\dots \in {\Delta }_{\mathcal{A}}$ 和 $x_1,x_2,\dots \in {\Delta }_{\mathcal{A}}$，类似地，对于玩家2有 ${\hat{y}}_1,{\hat{y}}_2,\dots \in {\Delta }_{\mathcal{B}}$ 和 $y_1,y_2,\dots \in {\Delta }_{\mathcal{B}}$，序列按照如下方式进行更新：

x ^ t + 1 = Π Δ A { x ^ t − η Q y t } x t + 1 = Π Δ A { x ^ t + 1 − η Q y t } y ^ t + 1 = Π Δ B { y ^ t + η Q ⊤ x t } y t + 1 = Π Δ B { y ^ t + 1 + η Q ⊤ x t } \begin{aligned} \widehat{x}_{t+1} &=\Pi_{\Delta_{\mathcal{A}}}\{\widehat{x}_{t}-\eta Qy_{t}\} \\ x_{t+1} &=\Pi_{\Delta_{\mathcal{A}}}\{\widehat{x}_{t+1}-\eta Qy_t\} \\ \widehat{y}_{t+1} &=\Pi_{\Delta_{\mathcal{B}}}\{\widehat{y}_{t}+\eta Q^{\top}x_{t}\} \\ y_{t+1} &=\Pi_{\Delta_{\mathcal{B}}}\big\{\widehat{y}_{t+1}+\eta Q^{\top}x_{t}\big\} \end{aligned} x t+1​xt+1​y ​t+1​yt+1​​=ΠΔA​​{ x t​−ηQyt​}=ΠΔA​​{ x t+1​−ηQyt​}=ΠΔB​​{ y ​t​+ηQ⊤xt​}=ΠΔB​​{ y ​t+1​+ηQ⊤xt​}​
其中，$\eta$ 是学习率。不同于标准的梯度下降/上升算法，OGDA并没有直接将 $({\hat{x}}_t,{\hat{y}}_t)$ 赋值给 $(x_t,y_t)$，而是在 $({\hat{x}}_t,{\hat{y}}_t)$ 上又进行了一步下降/上升的更新，然后再判断 $f(x,y)=x^{\top }Qy$ 的梯度。已有论文证明该算法可以以线性速度收敛到纳什均衡。本论文将OGDA推广到马尔可夫博弈的情况。

4.2 论文提出的算法

将OGDA推广到马尔可夫博弈，一个直观的想法是对于每个状态 $s$ 使用OGDA，但是一个显著的区别是马尔可夫博弈中的矩阵 $Q_{x_t,y_t}^s$ 是随时间变化的，直接使用OGDA会导致每个状态的策略更新不稳定。

为了解决这个问题，论文使用使用一个critic缓慢地学习每个状态的value function，对于每个状态 $s$，critic 维护一个value function的序列 $V_0^s=0,V_1^s,V_2^s,\cdots$，在算法每次迭代时，不直接使用 $Q_{x_t,y_t}^s$，而是使用如下的定义通过value function计算：

$$Q_t^s(a,b)=\sigma (s,a,b)+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a,b)}[V_{t-1}^{s^{\prime }}]$$

OGDA则作为actor，并且使用梯度 $Q_t^s{y}_t^s$ 更新 $x_{t+1}^s$ 和 ${\hat{x}}_{t+1}^s$，使用梯度 $Q_t^{s\top }{x}_t^s$ 更新 $y_{t+1}^s$ 和 ${\hat{y}}_{t+1}^s$。由于精确的梯度信息通常是未知的，因此需要使用估计量 ${\ell }_t^s$ 和 $r_t^s$ 估计梯度，估计误差满足 $\Vert {\ell }_t^s-Q_t^s{y}_t^s\Vert \le \epsilon$ 和 $\Vert r_t^s-Q_t^{s\top }{x}_t^s\Vert \le \epsilon$。论文提出的算法整体流程如 Algorithm 1 所示。Alg 1使用了固定的学习率 $\eta$，与迭代次数 $T$ 无关。

在每次迭代 $t$ 结束后，critic通过式（6）更新 value function，其中 ${\rho }_t^s$ 是 $x_t^{s^{\top }}{Q}_t^s{y}_t^s$ 的估计，估计误差满足 $|{\rho }_t^s-x_t^{s^{\top }}{Q}_t^s{y}_t^s|\le \epsilon$。为了使矩阵 $Q_t^s$ 稳定，需要学习率 ${\alpha }_t$ 在 $t$ 内减小并逐渐减小到0。论文中的收敛性分析都是基于 ${\alpha }_t$ 逐渐减小到0的假设。算法最终收敛的速度取决于 ${\alpha }_t$ 的具体形式，论文中设计的学习率更新为：

$$\begin{array}{rl}{\alpha }_t& =\frac{H+1}{H+t}\\ H& =\frac{2}{1-\gamma }\end{array}$$

论文的两个主要结果是以下两个定理：

Theorem 1 (Average duality-gap convergence)： 具有 ${\alpha }_t=\frac{H+1}{H+t}$ 和 $H=\frac{2}{1-\gamma }$ 的Algorithm 1能够保证
$$\frac{1}{T}\sum _{t=1}^T\underset{s,x^{\prime },y^{\prime }}{\max }\left(V_{{\hat{x}}_t,y^{\prime }}^s-V_{x^{\prime },{\hat{y}}_t}^s\right)=\mathcal{O}\left(\frac{|\mathcal{S}|}{\eta (1-\gamma {)}^2}\sqrt{\frac{\log T}{T}}+\frac{|\mathcal{S}|\sqrt{\epsilon }}{\sqrt{\eta }(1-\gamma {)}^2}\right)$$

Theorem 2 (Last-iterate convergence)：具有 ${\alpha }_t=\frac{H+1}{H+t}$ 和 $H=\frac{2}{1-\gamma }$ 的Algorithm 1，对于 ${\hat{z}}_T^s=({\hat{x}}_T^s,{\hat{y}}_T^s)$，有
$$\frac{1}{|\mathcal{S}|}\sum _{s\in \mathcal{S}}{\mathrm{dist}}_{\star }^2({\hat{z}}_T^s)=\mathcal{O}\left(\frac{|\mathcal{S}{|}^2}{{\eta }^4{C}^4(1-\gamma {)}^{4}T}+\frac{\epsilon }{\eta C^2(1-\gamma {)}^3}\right)$$
式中，$C>0$ 是一个存在且与问题无关的常数，$C$ 满足：对于所有的状态 $s$ 和所有的策略对 $z=(x,y)$，${\max }_{x^{\prime },y^{\prime }}(x^s{Q}_{\star }^s{y}^{\prime s}-x^{\prime s}{Q}_{\star }^s{y}^s)\ge C{\mathrm{dist}}_{\star }(z^s)$。

定理1表明，当 $1/T$ 和 $\epsilon$ 趋近于0时每个状态的对偶间隙收敛到0。定理2表明，策略对 ${\hat{z}}_T^s$到纳什均衡集合的有限时间收敛速度。

4.3 对梯度以及value function的估计

在信息完全已知的情况下，$Q_t^s{y}_t^s$，$Q_t^{s\top }{x}_t^s$ 和 $x_t^{s\top }{Q}_t^s{y}_t^s$ 可以被精确计算，这时论文提出的算法实际上就是一种策略迭代的方法。但是，如果未知对方动作以及矩阵 $Q_t^s$，那么算法就无法正常工作。因此论文在这一部分中研究了智能体仅通过自身动作、奖励以及奖励函数估计这些未知量。

在算法的一次迭代 $t$ 中，两个玩家使用如下的策略与对方交互 $L$ 个steps：
$$\begin{array}{r}{\tilde{x}}_t^s(a)=\left(1-\frac{{\epsilon }^{\prime }}{2}\right)x_t^s(a)+\frac{{\epsilon }^{\prime }}{2|\mathcal{A}|}\\ {\tilde{y}}_t^s(b)=\left(1-\frac{{\epsilon }^{\prime }}{2}\right)y_t^s(b)+\frac{{\epsilon }^{\prime }}{2|\mathcal{B}|}\end{array}$$
其中，$(x_t^s,y_t^s)$ 是此次迭代时的策略，${\tilde{x}}_t^s(a)$是交互时玩家1采取动作 $a$ 的概率。${\epsilon }^{\prime }=(1-\gamma )\epsilon$。这个策略同时具有本轮迭代时的策略以及与估计误差 $\epsilon$ 相关的随机探索策略。

两个玩家的交互会产生两个轨迹 $\{(s_i,a_i,\sigma (s_i,a_i,b_i)){\}}_{i=1}^L$ 和 $\{(s_i,b_i,\sigma (s_i,a_i,b_i)){\}}_{i=1}^L$，此处 $a_i\sim {\tilde{x}}_t^{s_i}$，$b_i\sim {\tilde{y}}_t^{s_i}$，$s_{i+1}\sim p(\cdot |s_i,a_i,b_i)$。论文构造的估计方程如下：
$$\begin{array}{c}{\ell }_t^s(a)\begin{array}{r}=\frac{{\sum }_{i=1}^{L}1[s_i=s,a_i=a]\left(\sigma (s,a,b_i)+\gamma V_{t-1}^{s_{i+1}}\right)}{{\sum }_{i=1}^{L}1[s_i=s,a_i=a]},\end{array}\\ r_t^s(b)=\frac{{\sum }_{i=1}^{L}1[s_i=s,b_i=b]\left(\sigma (s,a_i,b)+\gamma V_{t-1}^{s_{i+1}}\right)}{{\sum }_{i=1}^{L}1[s_i=s,b_i=b]},\\ {\rho }_t^s=\frac{{\sum }_{i=1}^{L}1[s_i=s]\left(\sigma (s,a_i,b_i)+\gamma V_{t-1}^{s_{i+1}}\right)}{{\sum }_{i=1}^{L}1[s_i=s]}.\end{array}$$
若上述估计方程的分母为0，则将该项估计置为0。为了使估计方程能对每个状态准确估计，该算法要求博弈过程中每个状态应该被足够频繁地访问，即要求任何平稳策略对下的诱导马尔科夫链都是不可约的，有如下假设1：存在 $\mu >0$ 使得 $1/\mu ={\max }_{x,y}{\max }_{s,s^{\prime }}{T}_{x,y}^{s\to s^{\prime }}$，其中 $T_{x,y}^{s\to s^{\prime }}$ 是在策略对 $(x,y)$ 作用下从 $s$ 转移到 $s^{\prime }$ 的期望时间。

在这条假设下，可以确定，令估计方程中的 $L\approx 1/{\epsilon }^3$ 能够使估计器拥有足够高的估计精度。进而有如下定理：

Theorem 3：若假设1成立，并且 $L$ 为
$$L=\tilde{\Omega }\left(\frac{|\mathcal{A}{|}^3+|\mathcal{B}{|}^3}{(1-\gamma )\mu {\epsilon }^3}{\log }^2(T/\delta )\right)$$
则估计器能够保证在所有步 $t$，至少有 $1-\delta$ 的概率，估计误差 $\Vert {\ell }_t^s-Q_t^s{y}_t^s\Vert$，$\Vert r_t^s-Q_t^{s\top }{x}_t^s\Vert$，$|{\rho }_t^s-x_t^{s\top }{Q}_t^s{y}_t^s|$ 是 $\epsilon$ 的高阶无穷小。

定理1、2说明了为了让对偶间隙收敛到0、双方策略达到最优，算法迭代的步数 $T$ 以及 $\epsilon$ 应当设定为多少；定理3说明了为了让学习过程中对梯度的估计达到设定精度，应当使估计器将双方交互数据长度 $L$ 设定为多少。论文的推论4和推论5给出了对偶间隙和收敛到最优策略的一些参数选择的结论，本处不再赘述。

4.4 理性

所谓理性（rationality）指的就是如果对方不使用equilibrium的策略，我方能收敛到对方的best response。针对玩家2不采用算法1的情形，论文提出了算法2，在算法2中玩家2采用固定策略，而玩家1仍然使用OGDA算法更新自身策略。由于论文提出的算法本身提出的agnostic假设，玩家具备理性也是策略收敛的暗示。算法2考虑的马尔可夫博弈过程中对手在每个状态上只有1个动作，记为 $1$，损失函数重新定义为 $\underline{\sigma }(s,a,1)={\mathbb{E}}_{b\sim y^s}[\sigma (s,a,b)]$，转移概率重新定义为 $\underline{p}(s^{\prime }|s,a,1)={\mathbb{E}}_{b\sim y^s}[p(s^{\prime }|s,a,b)]$。容易看出，算法2中玩家1的行为与算法1中按照相同的方式更新自身策略，而玩家2也可以被视为使用算法1，但是动作空间只包含一个动作的智能体。进而，对于算法1的收敛性保证可以扩展到算法2，有如下定理：

Theorem 6：当选择 ${\alpha }_t=\frac{H+1}{H+t}$、$H=\frac{2}{1-\gamma }$ 时算法2能够保证
$$\frac{1}{T}\sum _{t=1}^T\underset{s,x^{\prime }}{\max }\left(V_{{\hat{x}}_t,y^s}^s-V_{x^{\prime },y^s}^s\right)=\mathcal{O}\left(\frac{|\mathcal{S}|}{\eta (1-\gamma {)}^2}\sqrt{\frac{\log T}{T}}+\frac{|\mathcal{S}|\sqrt{\epsilon }}{\sqrt{\eta }(1-\gamma {)}^2}\right)$$
并且对于 ${\mathcal{X}}_{BR}=\left\{x:V_{x,y}^s={\min }_{x^{\prime }}{V}_{x^{\prime },y}^s,\forall s\in \mathcal{S}\right\}$ 以及与问题无关的常数 $C^{\prime }>0$，有
1 ∣ S ∣ ∑ s ∈ S ∥ x ^ T s − Π X B R { x ^ T s } ∥ 2 = O ( ∣ S ∣ 2 η 4 C ′ 4 ( 1 − γ ) 4 T + ε η C ′ 2 ( 1 − γ ) 3 ) \frac{1}{|\mathcal{S}|}\sum_{s\in\mathcal{S}}\|\widehat{x}_{T}^{s}-\Pi_{\mathcal{X}_{BR}}\{\widehat{x}_{T}^{s}\}\|^{2}=\mathcal{O}\left(\frac{|\mathcal{S}|^{2}}{\eta^{4}C'^{4}(1-\gamma)^{4}T}+\frac{\varepsilon}{\eta C'^{2}(1-\gamma)^{3}}\right) ∣S∣1​s∈S∑​∥x Ts​−ΠXBR​​{ x Ts​}∥2=O(η4C′4(1−γ)4T∣S∣2​+ηC′2(1−γ)3ε​)

这篇论文后续讲了证明思路，详细证明过程在附录中，感兴趣的读者可以自行阅读，笔者本人由于数学水平一般，本部分只停留于看懂阶段，无法进一步讲解，暂时省略。

五、结论

• 这项工作中提出了第一个适用于双人零和马尔可夫博弈的分布式算法，该算法具备理性、收敛性、无偏、对称性
• 算法具有有限时间收敛的保证。算法的核心是在每个状态上运行 OGDA，并结合一个缓慢变化的评价器来稳定每个状态下的博弈矩阵。
• 该研究集中在最基本的表格形式上，同时在需要估计时引入了一个结构性假设（每个状态都能被足够频繁地访问），避免了在状态空间中进行探索的困难。
• 未来的重要研究方向包括放宽这些假设，扩展框架以支持函数逼近和/或引入有效的探索机制。
• 此外，将基于 OGDA 的算法推广到双人零和博弈之外的场景也是一个潜在的研究方向。

后记

这是笔者第一次从头到尾完整地看这种博弈/强化学习理论性非常强的文章，一方面感叹于数学证明的精妙，另一方面也看到了自身在数学功底上的不足，以后做理论的可能性还是比较小哈哈哈。

如果读者有强化学习相关项目经验，可能会和笔者有相同感受，即理论文章与实际好用的算法之间存在比较大的差别，可能是理论的入门门槛以及为证明方便而增加的假设，导致一些理论上比较好的算法在实际场景中的应用较少。以后结合笔者的研究方向，本系列文章还是会更多写一些在实际系统中的多智能体博弈，理论性比较强的文章可能会逐渐少一些了。