可见在计算过程中偏置项并没有被计算在其中。我们也要做一个详细的计算。
GoogleNet
GoogleNet作为Inception module的代表，同样取得了不错的成绩，我们的参考prototxt来自：
ResNet
作为新一代的模型霸主，其对模型构建的思想可谓又上了一个台阶。这里的ResNet我们参考的prototxt是
下面揭晓最终的实验结果，并附上当年论文中或者网络上给出的单模型的精度。如果数字有错误欢迎指出。
我们一列一列来看，从模型层数来看，几年间模型的层数已经得到了爆炸式的增长，虽然GoogleNet的Inception Module和ResNet的Residual Module的网络层数都存在水分（GoogleNet官方宣称22层，ResNet官方宣称152层），但是总体上的趋势还是很明显的，那就是网络结构向着复杂的方向演变，层数也向着变深的方向演变。
对于Memory来说，除了GoogleNet（GoogleNet一般也是几个模型ensemble一起用），其他的模型的体量都比较大，在前向计算时所花费的存储还是很大的。
模型参数也是比较有意思的地方，实际上VGGNet的参数主要集中在全连接层上，而GoogleNet和ResNet在参数数量上并不算多，因为他们的层数实际上已经比较深，从层数的角度来看，模型的参数密度实际上是在减少的。
关于精度……这里就不细说了。
最后补充一句关于VGG的数据，上面的Memory计算的是1个batch所花费的内存，batch_size=256，想要对比上面的公式推演和代码计算的数字，需要把Memory的值除以batch_size。
好了，展示了这么多参数，实际上也是要说明CNN网络发展的趋势，那就是从Shallow and wide的模型转型成deep but thin的模型。模型的复杂程度不断增加，模型的拟合能力不断增强，但参数总量控制得很好，152层的ResNet和5层conv+3层fc的模型参数数量相近，其实这里面也说明了很多问题。
那么这些模型究竟是如何演化过来的呢？VGG的“模型哲学”，Inception Module的思想，ResNet对模型结构的颠覆都是如何影响我们对模型结构的三观呢？
