神经网络的分析

1 术语

• 上标方括号$^{[l]}$ ，表示第l层神经网络
• $\vec{w}_j^{[l]}$ ，表示第l层神经网络的第j个神经元的参数
• $\vec{a}^{[l]}$ ，第l层神经网络的激活值向量
• $a^{l}$，一般指最后一层输出层的输出

2 分析

对于一个两层的神经网络

第一层

第一层为隐藏层，输入特征作为输入。

输出层

第二层为输出层，隐藏层的激活值作为输出层的输入，最后得到一个输出值。

结果

根据激活值的结果是否大于0.5，得到最终的结果0或者1。

3 总结

第 l 层神经网络的输出可以写成(注意每个变量的上标并不相同)：

$$\vec A^{[l]}=g(\vec A^{[l-1]}\vec W^{[l]}+\vec B^{[l]})$$

其中 $\vec A^{[l-1]}$ 为上一层的激活向量，$\vec A^{[l]}$ 为当前层的激活向量，$\vec W^{[l]}, \vec B^{[l]}$为当前层的所有的的$\vec w_j, \vec b_j$参数。g 为激活函数。

4. 前向传播

手写识别数字0和1，总共 64 个像素，即输入特征。

使用三层神经网络，分别有 25、15、1个神经网络

第一层

第二层

第三层

$a^{[3]}$ 的结果只有一个元素，根据元素的值，判断得到最终的结果。

神经网络模型是从左向右的顺序激活神经元的，所以也被称为前向传播。