Adam Adamw

在给定迭代步数t时模型的参数θt与梯度gt,Adam的计算公式如下看这两个式子mt和vt。一阶动量mt累积历史梯度平滑震荡。前半项保留上一步累积的梯度趋势后半项加如当前梯度gt是当前计算的梯度二阶动量vt梯度平方大小代表参数更新的剧烈程度。gt方 大参数波动大缩小学习率这两项是偏差修正初始化mt,vt等于0那么前面几步的mt vt严重偏向0更新幅度很晓收敛极慢也就是说除以这个底下的式子得到的才是真正的动量1和动量2然后分析adam和adamw的区别就是在更新的时候权重衰减参与不参与变换。