η是学习速率，η后面的式子是损失函数对该参数变量的偏导数。
深度学习网络分类
如前所述，深度学习指的是一类广泛的机器学习技术和架构，其特点是采用多层的非线性信息处理方法，这种方法在本质上是分层的。根据这些结构和技术不同的应用领域，如合成/生成或识别/分类，我们可以大致把这些结构分为三类：
-
无监督的或生成式学习的深度网络：针对模式分析和合成任务，用于在没有目标类标签信息的情况下捕捉观测到的或可见数据的高阶相关性。各种文献中的无监督特征或表达学习指的就是这一类深度网络。当用于生成模式时，它也可以用来描述可见数据和其相关分类的联合分布概率，此时它具有可以利用的类别标签，而且这些类别标签被看做是可见数据的一部分。在后一种情况中，利用贝叶斯准则可以把生成学习网络转换为判别式学习网络。
-
有监督学习的深度网络：直接提供用于模式分类目的的判别能力，它的特点是描述了可见数据条件下的后验分布（条件概率分布）。这种有监督的学习，目标类别标签总是以直接或间接形式给出，所以它们也被称作判别式深度网络。
-
混合深度网络：目标是判别式模型，往往以生成式或无监督深度网络的结果作为重要辅助，可以通过更好地优化和正则化上个类别中的深度网络来实现，也可以通过对第一个类别所述的深度生成式或无监督深度网络的参数进行估计时，使用判别式准则来实现。
在其他文献里，一般将深度机器学习技术分为深度判别式模型（深度神经网络DNN、递归神经网络RNN、卷积神经网络CNN等）和生成式/无监督模型（受限玻尔兹曼机RBM、深度信念网络DBN、深度玻尔兹曼机DBM、正则化的自编码器等），然而这种二元分类方法忽略了通过深度学习研究所获得的重要观点，即生成式和无监督学习如何通过更好地进行正则化与优化，来大幅提高DNN和其他深度判别式和监督学习模型的训练效果。同时，无监督学习的深度网络并不一定必须是概率模型，也不一定能从模型中得到有意义的采样。深度有监督的学习模型适合复杂系统的端到端学习；而深度无监督学习模型，尤其是概率生成模型，更容易理解，更容易嵌入领域知识，更容易组合，对不确定性进行处理。
下面先只讲无监督和生成式学习深度网络。
无监督学习是指在学习过程中不使用特定任务的监督信息（如目标类别标签）。这一类深度网络大多可以通过从网络中采样来有效生成样本，因此是生成式模型，例如RBM、DBN、DBM和广义除噪自编码器。然而这一类别中的有些网络采样并不容易，因而本质上并不是生成式的，例如稀疏编码网络和原始形式的深度自编码器。
生成式或无监督深度网络有多个子类：
一类是各种自编码器及其堆叠形式，具体的说，在除噪自编码器中，输入向量首先被『破坏』，例如，随机选择一定比例的输入并把它们设为零，或加入高斯噪声，然后调整参数，使隐层编码结点重构出原始的、未损坏的输入数据，调整参数所使用的准则包括原始输入与重建输入的最小均方误差和KL散度准则。将未损坏数据进行转换，获得编码表示，并将其作为下一层堆叠自编码器的输入。
另一类有生成能力的深度无监督模型是深度玻尔兹曼机（DBM），DBM包含很多隐变量层，并且同一层变量之间没有连接。DBM是玻尔兹曼机（BM）的一个特例。当DBM的隐层数为1时，我们就得到了受限玻尔兹曼机（RBM），RBM与DBM一样，没有隐层到隐层和显层到显层的连接。RBM的主要优点是，通过组合许多RBM，把上一层RBM的特征激励作为下一层的训练数据，可以高效的对隐层进行学习，这样组合也即得到了深度信念网络（DBN）。
还有两类，一种是和积网络（SPN），另一种是无监督学习模式下的RNN。
