[论文笔记]An Analysis of Deep Neural Network Models for Practical Applications

本文是对现有(论文发表于2016年5月)深度网络的比较,从以下方面入手:

  • accuracy
  • memory footprint
  • parameters
  • operations count
  • inference time
  • power consumption

以下图片各模型的着色是统一的:蓝色是Inception系,绿色是VGG系,粉色是ResNet系,黄色为AlexNet系。

top1

上图是Top1准确率与模型参数数、操作数的关系。可以看到Inception系列网络以较少的参数取得相对高的准确率,而VGG系则在这一点上表现很差。

infer-batch

power-batch

上面两图分别是推断耗时和电量消耗与批量大小的关系。可以看到,两者均与批量大小无明显的相关关系。但电量消耗在不同的模型之间也非常类似,而推断时间与模型结构关系很大(VGG再次尴尬)。

mem-batch

上图展示了模型占用内存大小与批量大小的关系,大部分网络都有相对固定的内存占用,随后随批量大小的上扬而上涨。

infer-ops

从上图可以发现推断耗时和模型的操作数大体上呈现线性关系。

ops-power

电量消耗与模型的参数数、操作数并没有明显的相关性。

accuracy-infer

注意,上图中点的大小代表模型操作数,横轴代表推断效率,纵轴表示准确率。灰色区域表示模型获得了额外的推断效率或准确率,而白色区域代表非最优。

操作数越多的模型推断效率越低,大部分模型都落在相对平衡的边界上,VGG和小批量情形下的AlexNet落在了非最优区域。

小结

从这篇论文的比较中可以看到,在特定的任务中对网络特定结构的设计(如Inception单元),即加入更强的先验知识,比堆叠网络层数更有效。深度网络还是需要人类的指导才能发挥更大的作用。

论文链接:An Analysis of Deep Neural Network Models for Practical Applications

Creative Commons License
本文章遵从署名-相同方式共享4.0国际协议(CC BY-SA 4.0)
这意味着您可以署名转载本文章,并附上此协议。
我每周会分享一些有趣实用的英文文章,欢迎关注ddlee每周分享
这里可以找到我推荐的服务、应用程序、书籍和电影。

本文链接:https://blog.ddlee.cn/posts/46620023/
分享文章:

小额捐助:

相关文章

[论文笔记]Large-Scale Evolution of Image Classifiers 深度学习和分布式表示

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×