[论文笔记]Accurate, Large Minibatch SGD: Training ImageNet in One Hour

这篇文章在各处都有很广泛的讨论,作为实验经验并不多的小白,将文中tricks只做些记录。

Linear Scaling Rule

进行大批量的Minibatch SGD时会有批量越大,误差越大的问题。本文提出的Linear Scaling Rule正是试图解决这一问题。

Motivation

设想两个情景:一是在一次参数更新中使用kn个样本梯度,二是分为k次更新,每次取n个样本梯度。

第一种情景的参数更新公式:
$$w_t+1^{(1)} = w_t^{(1)} - \mu^{(1)} \frac{1}{kn} \sum_{j \leq k} \sum \bigtriangledown l(x, w_t)$$

第二种情景的参数更新公式:
$$w_t+k^{(2)} = w_t^{(2)} - \mu^{(2)} \frac{1}{n} \sum_{j \leq k} \sum \bigtriangledown l(x, w_t+j)$$

由上面可以看出,主要的区别是梯度平均时批量的大小不同,前者为kn,后者为每次n,更新k次。

再假设双重求和号内项变化不大时,为使情景二更新k次(即使用同样数量的样本)之后参数与情景一类似,我们自然要将学习速率$\mu$线性提升。

Gradual Warmup

上面提到的Linear Scaling Rule使用的假设是梯度变化不大。但在训练初期,参数随机初始化,梯度变化很大,因而Linear Scaling Rule不再适用。在实践中,可以使学习速率在初始时较小,在经过几个epoch训练后再升至与kn批量相应的大小。

BN statistics

在分布式训练的系统中,对于BN中要估计的均值和方差,文中给出的建议是对所有worker上的样本计算均值和方差,而不是每个worker单独计算。

Weight Decay

由于weight decay的存在,Linear Scaling Rule最好用于学习速率,而非用于Loss Function

Momentum Correction

加入Linear Scaling Rule之后,适用动量加速的SGD需要进行动量更正。

Data Shuffling

在分布式的系统中,先进行Data Shuffling,再分配数据到每个worker上。

论文链接:Accurate, Large Minibatch SGD: Training ImageNet in One Hour

Creative Commons License
本文章遵从署名-相同方式共享4.0国际协议(CC BY-SA 4.0)
这意味着您可以署名转载本文章,并附上此协议。
我每周会分享一些有趣实用的英文文章,欢迎关注ddlee每周分享
这里可以找到我推荐的服务、应用程序、书籍和电影。

本文链接:https://blog.ddlee.cn/posts/9940b42/
分享文章:

小额捐助:

相关文章

Tensorflow最佳实践:试验管理 [论文笔记]On the Effects and Weight Normalization in GAN

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×