CNN模型之VGGNet

一、介绍

        VGGNet是于2014年由牛津大学计算机视觉组和DeepMind公司共同研究的。在2014年的ILSVRC比赛上获得了分类项目的第二名和定位项目的第一名。这个网络据说是基于NIN网络的思想。与比赛中的第一名GooLeNet从NIN开始向两个方向发展。VGGNet的理念是更深的网络性能更好。因此,VGGNet的主要理念有:

  1. 网络层数越多,也就是网络越深,网络的性能越好。
  2. 网络越深越不好训练,容易过拟合。因此,采用小卷积核。

    二、模型结构

    VGGNet网络结构
            如图中所示,论文中一共提供了六种结构,可以分为VGG11、VGG13、VGG16和VGG19。其中VGG16和VGG19是我们常用的网络。它们的结构可分为两部分,第一部分为卷积层,主要目的是提取特征。第二部分为全连接层,主要目的是进行分类。在网络中主要的操作有
  • 输入图像预处理只做了减均值操作,可以减去128或者减去所有像素的均值,收敛会快一些,性能不会差太多。
  • 隐藏层使用ReLU,效率更高。不使用LRN。LRN也被证实没多大用处。在之后的模型也不被使用。
  • 使用$3\times 3$和$1\times 1$的卷积核,非常小的感受野,这样就可以把网络加深,使用多个卷积核的总参数变少。
  • $1\times 1$的卷积增加了决策函数的非线性,相当于全连接。可进行通道的降维或者升维。
  • 两个连续的$3\times 3$卷积核相当于一个$5\times 5$,三个相当于$7\times 7$。好处是网络结构更深,增加了非线性能力,参数更少了。

        在模型中,优化方法使用含有动量的随机梯度下降,损失函数中加入了L2正则化,全连接层的前两层加入了Dropout防止过拟合。网络的测试结果为
测试结果

三、总结

        VGGNet虽然是2014年分类任务的第二名,但是与第一名相差并不多,并且对之后的模型发展影响巨大。VGGNet网络得出的结论有

  • LRN,局部归一化并不能改善网络的性能
  • 随着网络的加深,分类误差降低,特征收敛越快,受样本变化的影响越小。
  • 数据增加等操作可以增强模型的鲁棒性。
  • 多裁剪评估比密集评估,效果更好。

        VGGNet网络是一个非常好的网络,在很多任务中,都以它为基础模型,在此基础上进行更改。学习VGGNet模型,要知道它的网络结构,以及设计思想和最终的实验结论。


   转载规则


《CNN模型之VGGNet》 G&L 采用 知识共享署名 4.0 国际许可协议 进行许可。
 上一篇
CNN模型之GoogLeNet CNN模型之GoogLeNet
一、介绍        GoogLeNet,2014年由Google团队的Christian Szegedy等人提出,为了向LeNet致敬,所以取名GoogLe
下一篇 
CNN模型之NIN CNN模型之NIN
一、介绍        NIN网络是由Min Lin等人在2014年提出的一个网络嵌套模型,使用微神经网络替换卷积神经网络中的卷积核。通过微神经网络来抽象感受野
  目录