45、自适应步长的DR-子模函数最大化与图中的路由问题

自适应步长的DR-子模函数最大化与图中的路由问题

在优化和图论领域，DR-子模函数最大化和图中的路由问题是两个重要的研究方向。本文将深入探讨自适应步长的DR-子模函数最大化问题，以及图中避免有序禁止转换的路由问题。

自适应步长的DR-子模函数最大化

在DR-子模函数最大化问题中，我们关注的是如何高效地找到函数的最大值。首先，对于某个函数 (F)，有 (|\nabla_iF(0)| 1 = \sum {i=1}^{n} |A_{ii} - 1|)。在DPP问题的应用中，矩阵 (A) 通常是Gram矩阵，且 (A_{ii}) 是有界的。因此，我们可以得出 (|\nabla_iF(0)|_1) 的渐近界最多为 (O(n))。不过，softmax扩展的梯度Lipschitz常数关于 (n) 的渐近界尚未确定。

对于DR-子模二次函数 (F(x) = \frac{1}{2}x^T Hx + h^T x + c)，当 (H \in R^{n\times n}_{-}) 时，(F(x)) 是DR-子模的。容易观察到 (|\nabla F(0)|_1 = |h|_1 \leq n)，并且梯度Lipschitz常数 (L = |H|_2)。

下面是自适应步长和固定步长在三个例子中的复杂度比较：
| 例子 | 自适应步长 | 固定步长 |
| — | — | — |
| LOO | (O(\frac{n}{\epsilon})) | (O(\frac{n}{\epsilon} \log \frac{n}{\epsilon})) |
| MLE | (O(\frac{n}{\epsilon})) | (O(\frac{n