统计学小知识

概念统计学对应优化器中的作用 (如 Adam)模型/特征提取中的作用一阶矩均值E[X]积累动量抵抗噪声平滑更新方向刻画分布的中心位置二阶矩平方均值E}[X^2]衡量幅度大小实现自适应学习率调节刻画分布的散布范围 / 特征尺度因为只需一次遍历累加 x 和 x^2 就能同时算出现出均值和方差。如何理解计算方差为二阶矩减去一阶矩的平方