动量的好处与困扰，darknet与自己（摸到pytorch尾灯！）

训练cifar10用darknet架构上了79用自己的也上了79但darknet优势明显快了13秒一轮虽然自己的架构领先了0.2分代价非常大上面两个版本都使用卷积层权重和bias的动量参与就这一句话scal_cpu (w_size 255) / 256, 256 (w_size, 0.98, _grad_weight, 1);darknet版本从13秒一轮上升到70秒一轮自己的版本从14.5秒一轮上升到83秒一轮如果干掉这句话两个版本都能稳定在78.5分而且速度嗖嗖的看一看两个架构差别也很小看看lr的更新,也保持一致下一步问题自然而来解决这个慢的问题先放下慢慢来