站长工具seo查询软件,做装修那个网站好,网站建设工作策划书,天猫店买卖网站神经网络的激活函数、并通过python实现what is 激活函数激活函数的python实现python实现阶跃函数python实现sigmoid函数python实现ReLU函数激活函数的特点what is 激活函数
感知机的网络结构如下#xff1a;
左图中#xff0c;偏置b没有被画出来#xff0c;如果要表示出b
左图中偏置b没有被画出来如果要表示出b可以像右图那样做。 用数学式来表示感知机 上面这个数学式子可以被改写
我们表达的意义是输入信号的总和被h(x)转换成输出y。 像h(x)函数一样将输入信号的总和转换为输出信号这种函数一般被称为激活函数。上面这个h(x)表示的激活函数称为阶跃函数。
表示激活函数计算过程的图如下 激活函数的python实现
python实现阶跃函数
为了方便阶跃函数的参数取Numpy数组用以下方式实现阶跃函数。
对numpy数组进行不等号运算后数组的各个元素都会进行不等号运算生成一个布尔型数组。
这个代码里数组中x大于0的元素转换成True小于等于0的元素转换成False。由于阶跃函数要输出int类型的0或1所以添加一个dtypenp.int32。
import numpy as np
import matplotlib.pylab as pltdef step_function(x):return np.array(x 0, dtypenp.int32)if __name__ __main__:X np.arange(-5.0, 5.0, 0.1) # 在-0.5到5.0范围内以0.1为单位生成Numpy数组# [-5.0,-4.9,...,4.9,5.0]Y step_function(X)plt.plot(X, Y)plt.ylim(-0.1, 1.1) # 指定图中绘制的y轴的范围plt.show() python实现sigmoid函数 下面定义的函数的参数x是Numpy数组时结果也能正确被计算。因为Numpy具有广播功能如果标量和Numpy数组进行数值运算那么这个标量将和Numpy数组中的各个元素进行运算。
import numpy as np
import matplotlib.pylab as pltdef sigmoid(x):return 1 / (1 np.exp(-x))if __name__ __main__:X np.arange(-5.0, 5.0, 0.1)Y sigmoid(X)plt.plot(X, Y)plt.ylim(-0.1, 1.1)plt.show()python实现ReLU函数 代码中使用Nmupy的maximum函数该函数会从输入的数值中选择较大的值进行输出。
import numpy as np
import matplotlib.pylab as pltdef relu(x):return np.maximum(0, x)if __name__ __main__:x np.arange(-5.0, 5.0, 0.1)y relu(x)plt.plot(x, y)plt.ylim(-1.0, 5.5)plt.show()激活函数的特点
上面的激活函数无论是阶跃、sigmoid还是ReLU使用的都是非线性函数如果使用线性函数比如h(x)ax作为激活函数那么y(x) h(h(h(x)))的运算对应3层神经网络这个运算会进行y(x) aaax的乘法运算但是同样的处理可以由y(x)bx(baaa)这一次乘法运算表示也还是相当于一层神经网络。也就是说使用线性函数的话加深神经网络的层数就没有意义了。为了发挥叠加层的优势激活函数必须使用非线性函数。
