论文基本情况
摘要:经典凸/非凸优化方法需要Lipshitzness of the gradient (||∇2f(X)||≤L), 本文的工作放宽了这一需求,进一步推广了non-uniform smoothness condition ;强大的分析技术: 沿轨迹限制梯度(bounds the gradients along the trajectory),从而为凸优化和非凸优化问题带来更强的结果
介绍:
Lipschitz smoothness condition太严格了,且得以二次函数为上限和下限
(L0, L1)-smoothness condition 推广了Lipschitz光滑性条件,还包含如一元多项式和指数函数

在语言建模实验中,观察到函数光滑性与梯度范数之间存在很强的正相关关系, 提出了(L0-L1)smoothness (1905.11881)
the ℓ-smoothness condition(本文提出) : 再次推广 the (L0, L1)-smoothness condition、
还开发了一种新的方法来分析这种情况下的收敛,通过沿优化轨迹(optimization trajectory)限定梯度来进行。


该论文放宽了经典优化方法对梯度Lipschitz连续性的要求,提出了一种名为ℓ-smoothness的条件,包括(L0, L1)-smoothness的推广。研究发现,这种方法可以更好地描述实际问题中函数的光滑性。通过限制沿优化轨迹的梯度,论文在凸和非凸设置下分析了梯度下降、随机梯度下降和Nesterov加速梯度的收敛性,并给出了新的收敛结果。此外,还讨论了势函数和优化轨迹的概念,并在有界噪声情况下放宽了随机优化的假设。"
103538318,9075226,Spark配置与分区策略优化,"['Spark', '大数据处理', '分布式计算', '内存管理', '任务调度']
9694

被折叠的 条评论
为什么被折叠?



