百度360必应搜狗淘宝本站头条
python类型转换python异常python操作mysql数据库python打印九九乘法表python获取列表的长度
当前位置：网站首页 > 技术资源 > 正文

神经网络中常见激活函数的python表达

off999 2024-10-23 12:42 12 浏览 0 评论

在神经网络最后的输出层，通常会使用激活函数将最后一层神经元得到的数据再进行计算，最终得到一个输出的结果，这里称该函数为激活函数，比对输出表达式为，当最后一层输出元得到的数据大于0，则输出1，小于0则输出0，这种称为阶跃函数，常见的激活函数有阶跃函数，sigmoid，ReLU，tanh函数

阶跃函数

阶跃函数的意义为，当输入数据大于某个值时输出值A，小于等于某个值时为B，表现为在某个值时输出突然变化，数学表达为

该图表示，当输入小于等于0时，输出0，大于0时输出1，使用python的函数表达为

函数比较简单，但是通常情况下，我们输入的数一般不会只是简单的一个数，一般是一个向量，将上面的函数使用numpy模块进行一下改造。

上面脚本的输出为[1 1 0 0]

y=x>0 利用numpy的广播功能，将numpy数组依次和0进行对比，当大于0的时候返回True，否则返回False,再将True和False转换为int的0和1

>>> import numpy as np
>>> x = np.array([1.0,2.0,0,-2.3])
>>> y = x>0
>>> y
array([ True, True, False, False])
>>> y.astype(np.int)
array([1, 1, 0, 0])

如果使用matplotlib对上面的函数进行图形化展示，如下

得到的图形如下

sigmoid函数

阶跃函数在行为上表现的过于激进，更多的情况下我们希望在神经网络中得到一种更为平滑的输出，由其在分类问题中，比如我们一共可能有5种输出结果，我们希望在最后的激活函数中得到这5种结果的概率，取概率最大的那种可能结果，这时我们就不希望用到上面这种过于激进的函数，我们可以使用sigmoid函数。

sigmoid函数的数学表达式为

sigmoid表达式

其中exp(?x)表示 的意思。e是纳皮尔常数2.7182...

python 的函数表达为

输出为[0.11920292 0.73105858 0.88079708]

sigmoid的函数图形为

sigmoid图形

将sigmoid函数与阶跃函数放在一起

sigmoid与阶跃图形对比

可以看出sigmoid函数比阶跃函数要平滑。

tanh函数

tanh的数学表达式为

表现为输入从-10到10之间，输出会从-1到1之间平滑变化，大于10的输出1，小于-10的输出-1，

python函数表达为

上面输出为

[-1. -1. -0.99999997 -0.96402758 0. 0.96402758
 0.99505475 1. 1. ]

tanh的图形为

ReLU函数

ReLU函数在输入大于0 时，直接输出该值；在输入小于等于0 时，输出0，数学表达式为

sigmoid与阶跃图形对比

ReLU的python表达式为

输出为[0. 1. 2.]

ReLU的图形为

上面四个激活函数的图形放到一起为

参考资料 《深度学习入门：基于Python的理论与实现》

相关推荐

软件测试|Python requests库的安装和使用指南

简介requests库是Python中一款流行的HTTP请求库，用于简化HTTP请求的发送和处理，也是我们在使用Python做接口自动化测试时，最常用的第三方库。本文将介绍如何安装和使用request...

python3.8的数据可视化pyecharts库安装和经典作图，值得收藏

1.Deepin-linux下的python3.8安装pyecharts库（V1.0版本）1.1去github官网下载：https://github.com/pyecharts/pyecharts1...

我在安装Python库的时候一直出这个错误，尝试很多方法，怎么破?

大家好，我是皮皮。一、前言前几天在Python星耀群【我喜欢站在一号公路上】问了一个Python库安装的问题，一起来看看吧。下图是他的一个报错截图：二、实现过程这里【对不起果丹皮】提示到上图报错上面说...

自动化测试学习:使用python库Paramiko实现远程服务器上传和下载

前言测试过程中经常会遇到需要将本地的文件上传到远程服务器上，或者需要将服务器上的文件拉到本地进行操作，以前安静经常会用到xftp工具。今天安静介绍一种python库Paramiko，可以帮助我们通过代...

Python 虚拟环境管理库 - poetry（python虚拟环境virtualenv）

简介Poetry是Python中的依赖管理和打包工具，它允许你声明项目所依赖的库，并为你管理它们。相比于Pipev，我觉得poetry更加清爽，显示更友好一些，虽然它的打包发布我们一般不使...

pycharm(pip)安装 python 第三方库，时下载速度太慢咋办?

由于pip默认的官方软件源服务器在国外，所以速度慢，导致下载时间长，甚至下载会频繁中断，重试次数过多时会被拒绝。解决办法1：更换国内的pip软件源即可。pip指定软件源安装命令格式：pipinsta...

【Python第三方库安装】介绍8种情况，这里最全看这里就够了!

**本图文作品主要解决CMD或pycharm终端下载安装第三方库可能出错的问题**本作品介绍了8种安装方法，这里最全的python第三方库安装教程，简单易上手，满满干货！希望大家能愉快地写代码，而不要...

python关于if语句的运用（python中如何用if语句）

感觉自己用的最笨的方式来解这道题...

Python核心技术——循环和迭代(上)

这次，我们先来看看处理查找最大的数字问题上，普通人思维和工程师思维有什么不一样。例如：lst=[3,6,10,5，7,9,12]在lst列表中寻找最大的数字，你可能一眼能看出来，最大值为...

力扣刷题技巧篇|程序员萌新如何高效刷题

很多新手初刷力扣时，可能看过很多攻略，类似于按照类型来刷数组-链表-哈希表-字符串-栈与队列-树-回溯-贪心-动态规划-图论-高级数据结构之类的。可转念一想，即...

“千万别学我!从月薪3000到3万，我靠这3个笨方法逆袭”

3年前，我还在为房租而忧心忡忡，那时月薪仅有3000元；如今，我的月收入3万！很多人都问我是如何做到的，其实关键就在于3个步骤。今天我毫无保留地分享给大家，哪怕你现在工资低、缺乏资源，照着做也能够实...

【独家攻略】Anaconda秒建PyTorch虚拟环境，告别踩坑，小白必看

目录一.Pytorch虚拟环境简介二.CUDA简介三.Conda配置Pytorch环境conda安装Pytorch环境conda下载安装pytorch包测试四.NVIDIA驱动安装五.conda指令一...

入门扫盲:9本自学Python PDF书籍，让你避免踩坑，轻松变大神!

工作后在学习Python这条路上，踩过很多坑。今天给大家推荐9本自学Python，让大家避免踩坑。入门扫盲：让你不会从一开始就从入门到放弃1《看漫画学Python：有趣、有料、好玩、好用》2《Pyth...

整蛊大法传授于你，不要说是我告诉你的

大家好，我是白云。给大家整理一些恶搞代码，谨慎使用！小心没朋友。1.电脑死机打开无数个计算器，直到死机setwsh=createobject("wscript.shell")do...

python 自学“笨办法”7-9章（笨办法学python3视频）

笨办法这本书，只强调一点，就是不断敲代码，从中增加肌肉记忆，并且理解和记住各种方法。第7章；是更多的打印，没错就是更多的打印第八章；打印，打印，这次的内容是fomat的使用与否f“{}{}”相同第九...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.