[论文笔记](DenseNet)Densely Connected Convolutional Networks

DenseNet将shortcut-connection的思路发挥到极致。在一个DenseBlock内部,每一层的输出均跟后面的层建立shortcut,特别需要注意的是,不同于ResNet中的相加,DenseNet连接shortcut的方式是Concat,这样越深的层则输入channel数越大。

DenseNet

arch

整个网络被分为Dense Block和Transition Layer,前者内部进行密集连接,保持同样大小的feature map,后者为DenseBlock之间的连接层,完成下采样操作。

在每个DenseBlock内部,接受的数据维度会随层数加深而变大(因为不断拼接了之前层的输出),增长的速率即为初始的channel数,文章称这一channel数为growth rate,作为模型的一个超参数。初始的growth rate为32时,在DenseNet121架构下,最后一层的channel数将增长到1024。

Netscope Vis,源文件位于awesome_cnn

Experiments

作者在CIFAR和ImageNet上都做了实验,DenseNet取得了跟ResNet相当的表现,加入Bottleneck和一部分压缩技巧后,用较少的参数就能达到跟ResNet相当的效果:

arch

论文链接:https://arxiv.org/abs/1608.06993

Creative Commons License
本文章遵从署名-相同方式共享4.0国际协议(CC BY-SA 4.0)
这意味着您可以署名转载本文章,并附上此协议。
我每周会分享一些有趣实用的英文文章,欢迎关注ddlee每周分享
这里可以找到我推荐的服务、应用程序、书籍和电影。

本文链接:https://blog.ddlee.cn/posts/f8991abd/
分享文章:

相关文章

FlintOS轻体验 [论文笔记](ResNeXt)Aggregated Residual Transformations for Deep Neural Networks

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×