机器学习进阶笔记之四 | 深入理解GoogLeNet

　　在tensorflow构造GoogLeNet基本的代码：

　　from kaffe.tensorflow import Network

　　class GoogleNet(Network):

1.  def setup(self):
2.      (self.feed('data')
3.           .conv(7, 7, 64, 2, 2, name='conv1_7x7_s2')
4.           .max_pool(3, 3, 2, 2, name='pool1_3x3_s2')
5.           .lrn(2, 2e-05, 0.75, name='pool1_norm1')
6.           .conv(1, 1, 64, 1, 1, name='conv2_3x3_reduce')
7.           .conv(3, 3, 192, 1, 1, name='conv2_3x3')
8.           .lrn(2, 2e-05, 0.75, name='conv2_norm2')
9.           .max_pool(3, 3, 2, 2, name='pool2_3x3_s2')
10.           .conv(1, 1, 64, 1, 1, name='inception_3a_1x1'))
11. 
    
12.      (self.feed('pool2_3x3_s2')
13.           .conv(1, 1, 96, 1, 1, name='inception_3a_3x3_reduce')
14.           .conv(3, 3, 128, 1, 1, name='inception_3a_3x3'))
15. 
    
16.      (self.feed('pool2_3x3_s2')
17.           .conv(1, 1, 16, 1, 1, name='inception_3a_5x5_reduce')
18.           .conv(5, 5, 32, 1, 1, name='inception_3a_5x5'))
19. 
    
20.      (self.feed('pool2_3x3_s2')
21.           .max_pool(3, 3, 1, 1, name='inception_3a_pool')
22.           .conv(1, 1, 32, 1, 1, name='inception_3a_pool_proj'))
23. 
    
24.      (self.feed('inception_3a_1x1',
25.                 'inception_3a_3x3',
26.                 'inception_3a_5x5',
27.                 'inception_3a_pool_proj')
28.           .concat(3, name='inception_3a_output')
29.           .conv(1, 1, 128, 1, 1, name='inception_3b_1x1'))
30. 
    
31.      (self.feed('inception_3a_output')
32.           .conv(1, 1, 128, 1, 1, name='inception_3b_3x3_reduce')
33.           .conv(3, 3, 192, 1, 1, name='inception_3b_3x3'))
34. 
    
35.      (self.feed('inception_3a_output')
36.           .conv(1, 1, 32, 1, 1, name='inception_3b_5x5_reduce')
37.           .conv(5, 5, 96, 1, 1, name='inception_3b_5x5'))
38. 
    
39.      (self.feed('inception_3a_output')
40.           .max_pool(3, 3, 1, 1, name='inception_3b_pool')
41.           .conv(1, 1, 64, 1, 1, name='inception_3b_pool_proj'))
42. 
    
43.      (self.feed('inception_3b_1x1',
44.                 'inception_3b_3x3',
45.                 'inception_3b_5x5',
46.                 'inception_3b_pool_proj')
47.           .concat(3, name='inception_3b_output')
48.           .max_pool(3, 3, 2, 2, name='pool3_3x3_s2')
49.           .conv(1, 1, 192, 1, 1, name='inception_4a_1x1'))
50. 
    
51.      (self.feed('pool3_3x3_s2')
52.           .conv(1, 1, 96, 1, 1, name='inception_4a_3x3_reduce')
53.           .conv(3, 3, 208, 1, 1, name='inception_4a_3x3'))
54. 
    
55.      (self.feed('pool3_3x3_s2')
56.           .conv(1, 1, 16, 1, 1, name='inception_4a_5x5_reduce')
57.           .conv(5, 5, 48, 1, 1, name='inception_4a_5x5'))
58. 
    
59.      (self.feed('pool3_3x3_s2')
60.           .max_pool(3, 3, 1, 1, name='inception_4a_pool')
61.           .conv(1, 1, 64, 1, 1, name='inception_4a_pool_proj'))
62. 
    
63.      (self.feed('inception_4a_1x1',
64.                 'inception_4a_3x3',
65.                 'inception_4a_5x5',
66.                 'inception_4a_pool_proj')
67.           .concat(3, name='inception_4a_output')
68.           .conv(1, 1, 160, 1, 1, name='inception_4b_1x1'))
69. 
    
70.      (self.feed('inception_4a_output')
71.           .conv(1, 1, 112, 1, 1, name='inception_4b_3x3_reduce')
72.           .conv(3, 3, 224, 1, 1, name='inception_4b_3x3'))
73. 
    
74.      (self.feed('inception_4a_output')
75.           .conv(1, 1, 24, 1, 1, name='inception_4b_5x5_reduce')
76.           .conv(5, 5, 64, 1, 1, name='inception_4b_5x5'))
77. 
    
78.      (self.feed('inception_4a_output')
79.           .max_pool(3, 3, 1, 1, name='inception_4b_pool')
80.           .conv(1, 1, 64, 1, 1, name='inception_4b_pool_proj'))
81. 
    
82.      (self.feed('inception_4b_1x1',
83.                 'inception_4b_3x3',
84.                 'inception_4b_5x5',
85.                 'inception_4b_pool_proj')
86.           .concat(3, name='inception_4b_output')
87.           .conv(1, 1, 128, 1, 1, name='inception_4c_1x1'))
88. 
    
89.      (self.feed('inception_4b_output')
90.           .conv(1, 1, 128, 1, 1, name='inception_4c_3x3_reduce')
91.           .conv(3, 3, 256, 1, 1, name='inception_4c_3x3'))
92. 
    
93.      (self.feed('inception_4b_output')
94.           .conv(1, 1, 24, 1, 1, name='inception_4c_5x5_reduce')
95.           .conv(5, 5, 64, 1, 1, name='inception_4c_5x5'))
96. 
    
97.      (self.feed('inception_4b_output')
98.           .max_pool(3, 3, 1, 1, name='inception_4c_pool')
99.           .conv(1, 1, 64, 1, 1, name='inception_4c_pool_proj'))
100. 
     
101.      (self.feed('inception_4c_1x1',
102.                 'inception_4c_3x3',
103.                 'inception_4c_5x5',
104.                 'inception_4c_pool_proj')
105.           .concat(3, name='inception_4c_output')
106.           .conv(1, 1, 112, 1, 1, name='inception_4d_1x1'))
107. 
     
108.      (self.feed('inception_4c_output')
109.           .conv(1, 1, 144, 1, 1, name='inception_4d_3x3_reduce')
110.           .conv(3, 3, 288, 1, 1, name='inception_4d_3x3'))
111. 
     
112.      (self.feed('inception_4c_output')
113.           .conv(1, 1, 32, 1, 1, name='inception_4d_5x5_reduce')
114.           .conv(5, 5, 64, 1, 1, name='inception_4d_5x5'))
115. 
     
116.      (self.feed('inception_4c_output')
117.           .max_pool(3, 3, 1, 1, name='inception_4d_pool')
118.           .conv(1, 1, 64, 1, 1, name='inception_4d_pool_proj'))
119. 
     
120.      (self.feed('inception_4d_1x1',
121.                 'inception_4d_3x3',
122.                 'inception_4d_5x5',
123.                 'inception_4d_pool_proj')
124.           .concat(3, name='inception_4d_output')
125.           .conv(1, 1, 256, 1, 1, name='inception_4e_1x1'))
126. 
     
127.      (self.feed('inception_4d_output')
128.           .conv(1, 1, 160, 1, 1, name='inception_4e_3x3_reduce')
129.           .conv(3, 3, 320, 1, 1, name='inception_4e_3x3'))
130. 
     
131.      (self.feed('inception_4d_output')
132.           .conv(1, 1, 32, 1, 1, name='inception_4e_5x5_reduce')
133.           .conv(5, 5, 128, 1, 1, name='inception_4e_5x5'))
134. 
     
135.      (self.feed('inception_4d_output')
136.           .max_pool(3, 3, 1, 1, name='inception_4e_pool')
137.           .conv(1, 1, 128, 1, 1, name='inception_4e_pool_proj'))
138. 
     
139.      (self.feed('inception_4e_1x1',
140.                 'inception_4e_3x3',
141.                 'inception_4e_5x5',
142.                 'inception_4e_pool_proj')
143.           .concat(3, name='inception_4e_output')
144.           .max_pool(3, 3, 2, 2, name='pool4_3x3_s2')
145.           .conv(1, 1, 256, 1, 1, name='inception_5a_1x1'))
146. 
     
147.      (self.feed('pool4_3x3_s2')
148.           .conv(1, 1, 160, 1, 1, name='inception_5a_3x3_reduce')
149.           .conv(3, 3, 320, 1, 1, name='inception_5a_3x3'))
150. 
     
151.      (self.feed('pool4_3x3_s2')
152.           .conv(1, 1, 32, 1, 1, name='inception_5a_5x5_reduce')
153.           .conv(5, 5, 128, 1, 1, name='inception_5a_5x5'))
154. 
     
155.      (self.feed('pool4_3x3_s2')
156.           .max_pool(3, 3, 1, 1, name='inception_5a_pool')
157.           .conv(1, 1, 128, 1, 1, name='inception_5a_pool_proj'))
158. 
     
159.      (self.feed('inception_5a_1x1',
160.                 'inception_5a_3x3',
161.                 'inception_5a_5x5',
162.                 'inception_5a_pool_proj')
163.           .concat(3, name='inception_5a_output')
164.           .conv(1, 1, 384, 1, 1, name='inception_5b_1x1'))
165. 
     
166.      (self.feed('inception_5a_output')
167.           .conv(1, 1, 192, 1, 1, name='inception_5b_3x3_reduce')
168.           .conv(3, 3, 384, 1, 1, name='inception_5b_3x3'))
169. 
     
170.      (self.feed('inception_5a_output')
171.           .conv(1, 1, 48, 1, 1, name='inception_5b_5x5_reduce')
172.           .conv(5, 5, 128, 1, 1, name='inception_5b_5x5'))
173. 
     
174.      (self.feed('inception_5a_output')
175.           .max_pool(3, 3, 1, 1, name='inception_5b_pool')
176.           .conv(1, 1, 128, 1, 1, name='inception_5b_pool_proj'))
177. 
     
178.      (self.feed('inception_5b_1x1',
179.                 'inception_5b_3x3',
180.                 'inception_5b_5x5',
181.                 'inception_5b_pool_proj')
182.           .concat(3, name='inception_5b_output')
183.           .avg_pool(7, 7, 1, 1, padding='VALID', name='pool5_7x7_s1')
184.           .fc(1000, relu=False, name='loss3_classifier')
185.           .softmax(name='prob'))

 　　代码在GitHub - ethereon/caffe-tensorflow: Caffe models in TensorFlow中，作者封装了一些基本的操作，了解网络结构之后，构造GoogLeNet很容易。之后等到新公司之后，我会试着在tflearn的基础上写下GoogLeNet的网络代码。