栈式自编码器，提供了一种有效的预训练方法来初始化网络的权重，这样你得到了一个可以用来训练的复杂、多层的感知机。
深度信度网络
和自编码器一样，我也可以将波尔兹曼机进行栈式叠加来构建深度信度网络（DBN）。
在本例中，隐含层 RBM t 可以看作是 RBM t+1 的可见层。第一个RBM的输入层即是整个网络的输入层，层间贪心式的预训练的工作模式如下：
1. 通过对比差异法对所有训练样本训练第一个RBM t=1
2. 训练第二个RBM t=1。由于 t=2 的可见层是 t=1 的隐含层，训练开始于将数据赋至 t=1 的可见层，通过前向传播的方法传至 t=1 的隐含层。然后作为 t=2 的对比差异训练的初始数据。
3. 对所有层重复前面的过程。
4. 和栈式自编码器一样，通过预训练后，网络可以通过连接到一个或多个层间全连接的 RBM 隐含层进行扩展。这构成了一个可以通过反向传僠进行微调的多层感知机。
本过程和栈式自编码器很相似，只是用RBM将自编码器进行替换，并用对比差异算法将反向传播进行替换。
(注: 例中的源码可以从 获得.)
卷积网络
这个是本文最后一个软件架构——卷积网络，一类特殊的对图像识别非常有效的前馈网络。
在我们深入看实际的卷积网络之臆，我们先定义一个图像滤波器，或者称为一个赋有相关权重的方阵。一个滤波器可以应用到整个图片上，通常可以应用多个滤波器。比如，你可以应用四个6x6的滤波器在一张图片上。然后，输出中坐标（1,1）的像素值就是输入图像左上角一个6x6区域的加权和，其它像素也是如此。
有了上面的基础，我们来介绍定义出卷积网络的属性：
- 卷积层 对输入数据应用若干滤波器。比如图像的第一卷积层使用4个6x6滤波器。对图像应用一个滤波器之后的得到的结果被称为特征图谱（feature map, FM），特征图谱的数目和滤波器的数目相等。如果前驱层也是一个卷积层，那么滤波器应用在FM上，相当于输入一个FM，输出另外一个FM。从直觉上来讲，如果将一个权重分布到整个图像上后，那么这个特征就和位置无关了，同时多个滤波器可以分别探测出不同的特征。
- 下采样层 缩减输入数据的规模。例如输入一个32x32的图像，并且通过一个2x2的下采样，那么可以得到一个16x16的输出图像，这意味着原图像上的四个像素合并成为输出图像中的一个像素。实现下采样的方法有很多种，最常见的是最大值合并、平均值合并以及随机合并。
- 最后一个下采样层（或卷积层）通常连接到一个或多个全连层，全连层的输出就是最终的输出。
- 训练过程通过改进的反向传播实现，将下采样层作为考虑的因素并基于所有值来更新卷积滤波器的权重。
可以看几个应用在 数据集上的卷积网络的例子，还有一个用JavaScript实现的一个可视的类似网络。
实现
目前为止，我们已经学会了常见神经网络中最主要的元素了，但是我只写了很少的在实现过程中所遇到的挑战。
概括来讲，我的目标是实现一个，即一个基于神经网络且满足如下条件的框架：
-
- 一个可以表示多种模型的通用架构（比如所有上文提到的神经网络中的元素）
- 可以使用多种训练算法（反向传播，对比差异等等）。
- 体面的性能
为了满足这些要求，我在软件的设计中使用了分层的思想。
结构
我们从如下的基础部分开始：
-
- 是所有神经网络模型实现的基类。
- 每个网络都包含有一个 的集合。
- 每一层中有一个 的链表， connection 指的是两个层之间的连接，将整个网络构成一个有向无环图。
这个结构对于经典的反馈网络、 及更复杂的如 都已经足够灵活。
这个结构也允许一个 layer 成为多个网络的元素。比如，在 （深度信度网络）中的layer也可以用在其 RBM 中。
另外，通过这个架构可以将DBN的预训练阶段显示为一个栈式RBM的列表，微调阶段显示为一个前馈网络，这些都非常直观而且程序实现的很好。
数据流
下个部分介绍网络中的数据流，一个两步过程:
