浅谈深度学习基础（上）

　　对oj取全微分，可以得到该导数的一个递归表达式：

　　也即，只要知道所有下一层（指离输出层更近的一层）的输出ol的导数，即可计算oj的导数，把它们放在一起：

　　其中：

　　所以得到BP算法的权重迭代公式（与普通梯度下降法参数迭代公式形式类似）：

　　以上即为BP算法推导的全过程。

　　BP算法说到底是种梯度下降算法，前面也提到过，梯度下降法能得到局部最优，但并不能保证一定会得到全局最优。我们通常采用RBM pre-train的方法来避免其收敛到局部最小值。