吴恩达《深度学习》第一门课(3)浅层神经网络

  • 时间:
  • 浏览:0
  • 来源:5分排列3APP下载_5分排列3APP官方

(3)ReLU激活函数:最常用的默认函数,可能不取舍用哪个激活函数,而且用ReLU(函数表达式为a=max(0,z))或则Leaky ReLU(函数表达式为a=max(0.01z,z),0.01参数可改)。ReLU在负半区梯度为零,产生所谓的稀疏性,但可能有足够多的掩藏层是z大于0,要是学习过程还是非常的快。

2.第一层的反向传播

(2)向量化:

(1)矩阵乘列向量得到列向量:

(2)而且输出可能会用到线性激活函数。

(2)tanh激活函数:tanh是非常优秀的,还还要中心化数据(-1到1),几乎适合要是场合。存在梯度消失现象报告 ,其函数表达式如下:

(4)下面的三种激活函数的图像:

(3)关于W[m],b[m]是和第m层输出有关的系数,W的维度(第m层单元数,上一层单元数),b的维度为(第m层单元数,1)。

(3)有三个白 多输入样本,神经网络的计算

(1)神经网络每个单元合适有三个白 多逻辑回归,神经网络由逻辑回归的堆叠起来。下图是网络形态:

(1)可能不还可以 非线性激活函数,不还可以 无论网络有多少层,输出始终是输入的线性组合,与一层网络毫无区别。举同类下:

 

(1)正向传播三个白 式子:

针对网络形态进行计算:

(2)反向传播三个白 式子(下面公式3.3.2中应该是dz[2]):

(1)多样本的计算示意图(a[2](1)前面的2表示第二层,后边的1表示第有三个白 多样本):

(1)W不还可以初始化为零而且一层中每个单元都做相同的计算,和有三个白 多单元没哪些区别,b还还要初始化为零。可按照如下法子初始化(0.01的作用是时输出不让很多,很多由由sigmoid、tanh激活函数是可能愿因 梯度有点硬小):

(1)主要推导过程:

(1)神经形态如下:

(3)以矩阵A为例,从水平上看,每一列对应着不同的训练样本;从垂直方向看,每一行对应着同一层的不同神经元。

3.第二层的反向传播(正向而且把微分符号添加即可)

1.第一层的正向传播

(1)神经网络各层分别较输入层、掩藏层和输出层,其中说有三个白 多网络有几层时一般不包括输入层,如下图是有三个白 多两层的网络:

(1)sigmoid激活函数:除了输出层是有三个白 多二分类现象报告 基本不让用它。存在梯度消失现象报告 ,其函数表达式如下:

(2)向量化表示下面三个白 式子:

(2)后边式子中省略了b[1],b[1]的维度与Z[1]相同,再添加python具有广播的功能,要是还还要使得向量b与每一列相加。

(2)a[0]chang也常用来表示输入形态,a[1]b表示第一层的输出,如第一层(不算输入层)有三个白 神经元,其输出为(用a表示是可能activation激活函数的缩写):

(2)每有三个白 多神经元做的计算: