momentum inear参数

linear是momentum优化器中的一个学习率调度策略,它指的是学习率随着训练轮数的增加而线性衰减,下面我们从几个方面来深入理解它,什么是momentum优化器?回顾一下momentum(动量)优化器的基本原理,它不仅仅考虑当前梯度,还考虑了历史梯度的指数移动平均(可以理解为“惯性”),从而帮助……

目录[+]