长沙网站制作哪家强,天津seo优化排名,网站代理做反向,用动态和静态设计一个网站多层感知机隐藏层激活函数ReLU函数sigmoid函数tanh函数多层感知机小结我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中#xff0c;我们将以多层感知机#xff08;multilayer perceptron#xff0c;MLP#xff09;为例…
多层感知机隐藏层激活函数ReLU函数sigmoid函数tanh函数多层感知机小结我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中我们将以多层感知机multilayer perceptronMLP为例介绍多层神经网络的概念。
隐藏层
多层感知机在单层神经网络的基础上引入了一到多个隐藏层hidden layer。隐藏层位于输入层和输出层之间。下图展示了一个多层感知机的神经网络图它含有一个隐藏层该层中有5个隐藏单元。 带有隐藏层的多层感知机在上图所示的多层感知机中输入和输出个数分别为4和3中间的隐藏层中包含了5个隐藏单元hidden unit。由于输入层不涉及计算图中的多层感知机的层数为2。由上图可见隐藏层中的神经元和输入层中各个输入完全连接输出层中的神经元和隐藏层中的各个神经元也完全连接。因此多层感知机中的隐藏层和输出层都是全连接层。
具体来说给定一个小批量样本X∈Rn×d\boldsymbol{X} \in \mathbb{R}^{n \times d}X∈Rn×d其批量大小为nnn输入个数为ddd。假设多层感知机只有一个隐藏层其中隐藏单元个数为hhh。记隐藏层的输出也称为隐藏层变量或隐藏变量为H\boldsymbol{H}H有H∈Rn×h\boldsymbol{H} \in \mathbb{R}^{n \times h}H∈Rn×h。因为隐藏层和输出层均是全连接层可以设隐藏层的权重参数和偏差参数分别为Wh∈Rd×h\boldsymbol{W}_h \in \mathbb{R}^{d \times h}Wh∈Rd×h和 bh∈R1×h\boldsymbol{b}_h \in \mathbb{R}^{1 \times h}bh∈R1×h输出层的权重和偏差参数分别为Wo∈Rh×q\boldsymbol{W}_o \in \mathbb{R}^{h \times q}Wo∈Rh×q和bo∈R1×q\boldsymbol{b}_o \in \mathbb{R}^{1 \times q}bo∈R1×q。
我们先来看一种含单隐藏层的多层感知机的设计。其输出O∈Rn×q\boldsymbol{O} \in \mathbb{R}^{n \times q}O∈Rn×q的计算为
HXWhbh,OHWobo,\begin{aligned} \boldsymbol{H} \boldsymbol{X} \boldsymbol{W}_h \boldsymbol{b}_h,\\ \boldsymbol{O} \boldsymbol{H} \boldsymbol{W}_o \boldsymbol{b}_o, \end{aligned} HOXWhbh,HWobo,
也就是将隐藏层的输出直接作为输出层的输入。如果将以上两个式子联立起来可以得到
O(XWhbh)WoboXWhWobhWobo.\boldsymbol{O} (\boldsymbol{X} \boldsymbol{W}_h \boldsymbol{b}_h)\boldsymbol{W}_o \boldsymbol{b}_o \boldsymbol{X} \boldsymbol{W}_h\boldsymbol{W}_o \boldsymbol{b}_h \boldsymbol{W}_o \boldsymbol{b}_o. O(XWhbh)WoboXWhWobhWobo.
从联立后的式子可以看出虽然神经网络引入了隐藏层却依然等价于一个单层神经网络其中输出层权重参数为WhWo\boldsymbol{W}_h\boldsymbol{W}_oWhWo偏差参数为bhWobo\boldsymbol{b}_h \boldsymbol{W}_o \boldsymbol{b}_obhWobo。不难发现即便再添加更多的隐藏层以上设计依然只能与仅含输出层的单层神经网络等价。
另外可以得出结论
计算神经网络的层数时候不算输入层。某一层的权重是指 前一层 到 该层 线性变换所需的权重参数。如输出层的权重为 隐藏层 到 输入层 的权重。权重W的形状为 前一层神经元的个数 * 当前层的神经元的个数
激活函数
上述问题的根源在于全连接层只是对数据做仿射变换affine transformation而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换例如对隐藏变量使用按元素运算的非线性函数进行变换然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数activation function。 下面对比使用激活函数和不使用激活函数的神经网络模型表达能力: 不使用激活函数使用激活函数结论:使用了激活函数的多层感知机可以表示任意函数。不加激活函数则无法表示非线性空间。
下面我们介绍几个常用的激活函数。
ReLU函数
ReLUrectified linear unit函数提供了一个很简单的非线性变换。给定元素xxx该函数定义为
ReLU(x)max(x,0).\text{ReLU}(x) \max(x, 0).ReLU(x)max(x,0).
可以看出ReLU函数只保留正数元素并将负数元素清零。为了直观地观察这一非线性变换我们先定义一个绘图函数xyplot。
import torch
import numpy as np
import matplotlib.pylab as plt
import sysdef xyplot(x_vals, y_vals, name):d2l.set_figsize(figsize(5, 2.5))d2l.plt.plot(x_vals.detach().numpy(), y_vals.detach().numpy())d2l.plt.xlabel(x)d2l.plt.ylabel(name (x))我们接下来通过Tensor提供的relu函数来绘制ReLU函数。可以看到该激活函数是一个两段线性函数。
x torch.arange(-8.0, 8.0, 0.1, requires_gradTrue)
y x.relu()
xyplot(x, y, relu)显然当输入为负数时ReLU函数的导数为0当输入为正数时ReLU函数的导数为1。尽管输入为0时ReLU函数不可导但是我们可以取此处的导数为0。下面绘制ReLU函数的导数。
y.sum().backward()
xyplot(x, x.grad, grad of relu)sigmoid函数
sigmoid函数可以将元素的值变换到0和1之间
sigmoid(x)11exp(−x).\text{sigmoid}(x) \frac{1}{1 \exp(-x)}.sigmoid(x)1exp(−x)1.
sigmoid函数在早期的神经网络中较为普遍但它目前逐渐被更简单的ReLU函数取代。在后面“循环神经网络”一章中我们会介绍如何利用它值域在0到1之间这一特性来控制信息在神经网络中的流动。下面绘制了sigmoid函数。当输入接近0时sigmoid函数接近线性变换。
y x.sigmoid()
xyplot(x, y, sigmoid)依据链式法则sigmoid函数的导数
sigmoid′(x)sigmoid(x)(1−sigmoid(x)).\text{sigmoid}(x) \text{sigmoid}(x)\left(1-\text{sigmoid}(x)\right).sigmoid′(x)sigmoid(x)(1−sigmoid(x)).
下面绘制了sigmoid函数的导数。当输入为0时sigmoid函数的导数达到最大值0.25当输入越偏离0时sigmoid函数的导数越接近0。
x.grad.zero_()
y.sum().backward()
xyplot(x, x.grad, grad of sigmoid)tanh函数
tanh双曲正切函数可以将元素的值变换到-1和1之间
tanh(x)1−exp(−2x)1exp(−2x).\text{tanh}(x) \frac{1 - \exp(-2x)}{1 \exp(-2x)}.tanh(x)1exp(−2x)1−exp(−2x).
我们接着绘制tanh函数。当输入接近0时tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像但tanh函数在坐标系的原点上对称。
y x.tanh()
xyplot(x, y, tanh)依据链式法则tanh函数的导数
tanh′(x)1−tanh2(x).\text{tanh}(x) 1 - \text{tanh}^2(x).tanh′(x)1−tanh2(x).
下面绘制了tanh函数的导数。当输入为0时tanh函数的导数达到最大值1当输入越偏离0时tanh函数的导数越接近0。
x.grad.zero_()
y.sum().backward()
xyplot(x, x.grad, grad of tanh)多层感知机
多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本节之前定义的符号多层感知机按以下方式计算输出
Hϕ(XWhbh),OHWobo,\begin{aligned} \boldsymbol{H} \phi(\boldsymbol{X} \boldsymbol{W}_h \boldsymbol{b}_h),\\ \boldsymbol{O} \boldsymbol{H} \boldsymbol{W}_o \boldsymbol{b}_o, \end{aligned} HOϕ(XWhbh),HWobo,
其中ϕ\phiϕ表示激活函数。在分类问题中我们可以对输出O\boldsymbol{O}O做softmax运算并使用softmax回归中的交叉熵损失函数。 在回归问题中我们将输出层的输出个数设为1并将输出O\boldsymbol{O}O直接提供给线性回归中使用的平方损失函数。
小结
多层感知机在输出层与输入层之间加入了一个或多个全连接隐藏层并通过激活函数对隐藏层输出进行变换。常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。
