|
不一致。
设想一个最简单粗暴的激活函数，设定一个阈值，超过阈值就输出1，否则输出0.
好吧，这么简单粗暴的激活函数其实有一个专门的名字，叫阶跃函数。这名字是不是很形象？
阶跃函数
从图像上就可以看出，显然这个函数的表达能力是极差的。两条水平线，意味着神经网络的训练，也就是权重的调整，会长时间处于停滞的状态，也就是说一定时期内，无论怎么调权重，输出都是0，直到达到了阈值，然后输出一下子变1了，然后卡在那里不动了。
所以，为了增强激活函数的表达力，我们需要一个随着权重调整输出会变动的激活函数。那我们就得到了线性函数。
线性函数
线性函数比阶跃函数好多了，至少权重调整会导致输出变动了。但线性函数的表达力还是很差：
线性函数的导数是常数。而现在神经网络的训练都流行使用梯度下降。碰到线性函数这样的常数梯度，马上就歇菜了。
线性函数的组合仍然是线性函数！现在都流行深度学习，所谓的深度学习，简单来说就是用具有很多层的网络来学习（注意，这是一个不精确的定义，姑且先这么理解）。那既然线性函数的组合仍然是线性函数，那不管网络有多深，最后都等效于单层网络，该网络的激活函数是原网络很多层的激活函数的线性组合。也就是说，碰到线性函数，深度学习歇菜了。
我的天！现在最流行的梯度下降、深度学习都用不上，你说这线性激活函数还有什么前途可言！
那怎么办呢？很简单，我们把线性函数搞成非线性的不就行了！非线性的话，导数就不会是常数了，这样梯度下降可以用了。然后，网络层也可以堆得很深了。问题一下子就解决了。
怎么弄成非线性呢？
把线性函数折一下就可以。
ReLU
|
车贷首付几成不用银行流水（买车首付几成不用银行流水）
购买汽车是每个人的梦想，但是汽车价格不菲，很多人都无法一次性支付，因此，购买汽车时，很多人... [详细]个人信用贷款 2023-02-21 23:13:33
急用钱借款哪里最安全可靠（急用钱上哪借最安全）
一、银行借款安全银行借款是安全的，因为银行有严格的审核程序，只有满足一定的条件才能获得贷款... [详细]个人信用贷款 2023-02-21 23:13:32
商品房的预售证哪里可以查到 怎么在网上查商品房预售证
商品房预售证可以在官网，当地住房和城乡建设局查到。登录当地住房和城乡建设局官网，进入“预售... [详细]房产生活 2023-02-21 22:58:19
18层的槽钢层在哪几层 18层的楼房槽钢层在哪几层
18层建筑的槽钢层数一般为3、10、17层，与悬挑层的限高有一定关系。通过在施工过程中增加槽钢层... [详细]房产生活 2023-02-21 22:58:14
新房预售许可证哪里可以查到 房子的预售证哪里可以查询
1.当场请求。买房可以在交易前直接向开发商索要销售许可证。 2.上网搜索，去当地住房保障和房地... [详细]房产生活 2023-02-21 22:58:06
什么正规的贷款平台容易通过的（哪些正规贷款平台好下款）
随着经济的发展，贷款已经成为了许多人的必要之选，但是，在选择贷款平台时，很多人都会担心贷款... [详细]个人信用贷款 2023-02-21 22:13:38
花呗不小心注销了还能开通吗（花呗不小心注销了还能开通吗怎么办
花呗不小心注销了还能开通吗（花呗不小心注销了还能开通吗怎么办）？答案是肯定的，只要您拥有有... [详细]个人信用贷款 2023-02-21 22:13:33
哪个网络平台借钱利率最低（哪个网络平台借钱利息最低）
一、网络借贷平台利率比较网络借贷平台是指通过互联网技术，将借款人和出借人连接起来，实现借贷... [详细]个人信用贷款 2023-02-21 22:13:31
房子过户最安全的办法 怎么规避房产过户风险
1.了解房子的属性：买房之前应该看清楚房子的产权，因为有些房子，比如商住，是不能迁入户口的。... [详细]房产生活 2023-02-21 21:58:16
住房公积金缴纳比例如何上调 住房公积金的缴存基数是如何算的
法律：分析住房公积金的缴存基数按照上年末职工到期工资全额核定，每年调整一次。缴存基数原则上... [详细]房产生活 2023-02-21 21:58:12
各地为什么绿化率计算规则不一样 有了绿化率如何算绿化面积
绿化率=绿化面积/总用地面积。绿化率是指总体规划建设商业用地面积内的绿化总面积与总体规划建设... [详细]房产生活 2023-02-21 21:58:06
查征信一定要身份证原件吗（查征信是不是一定要身份证）
查征信是一项重要的个人信用评估服务，它可以帮助您了解自己的信用状况，以便更好地管理自己的财... [详细]个人信用贷款 2023-02-21 21:13:37
桔多多是正规的贷款平台吗（桔多多是正规借贷平台吗）
桔多多是一家专注于个人信用贷款的网络借贷平台，它提供的贷款服务受到了广大消费者的青睐。但是... [详细]个人信用贷款 2023-02-21 21:13:33
车贷4厘5的利息贵吗（车贷44厘利息高不高）
车贷是指贷款人以车辆为抵押，向银行或金融机构申请贷款，以购买汽车为目的的贷款。车贷利息是指... [详细]个人信用贷款 2023-02-21 21:13:31
个人公积金账号在哪里开通 个人公积金账户如何开通大庆
1.个人携带本人有效身份证件等资料，到当地住房公积金管理中心申请开户，按要求填写申请表 2.受... [详细]房产生活 2023-02-21 20:58:19
2018老房产证贷款买新房流程 新房组合贷款办理流程详解
1.提交贷款申请：买方需要，到银行提交贷款申请，并提交相关资料，如身份证复印件、户口本等；用... [详细]房产生活 2023-02-21 20:58:13
买房小产权房需要注意什么 买小产权房的最佳条件是啥
买小产权房没有资格在需要，买房，小产权房不受购房政策限制。所以很多城市买小产权房的原因包括... [详细]房产生活 2023-02-21 20:58:08
随借随还贷款利息怎么算（随借随还的利息怎么还）
随借随还贷款是一种灵活的贷款方式，它可以满足消费者的短期资金需求，但是它的利息计算方式却不... [详细]个人信用贷款 2023-02-21 20:13:36
哪个借贷平台利息最低最靠谱（没有利息的借款平台）
在当今社会，借贷平台已经成为了许多人解决资金问题的重要途径。但是，在众多的借贷平台中，哪个... [详细]个人信用贷款 2023-02-21 20:13:34
银行为什么不好贷款（银行为什么不好贷款买房）
购买房屋是每个人的梦想，但是由于购买房屋的费用很高，很多人都会考虑贷款的方式来购买房屋。但... [详细]个人信用贷款 2023-02-21 20:13:31
新的婚姻法房产加名字有效吗 现在婚姻法婚前房产可以加名字吗
是有效的，主要有四种情况： 1.如果是男方婚前已经购买的房屋，且司法实践中一般认定女方名下为... [详细]房产生活 2023-02-21 19:58:12
等额本金提前还款利息如何算 等额本金提前还款有啥限制
提前还贷平均资金必须超过半年，甚至超过要求个别银行已经支付的一年。一般来说，要求的借款人提... [详细]房产生活 2023-02-21 19:58:10
顶楼的房子优缺点 顶楼的房子的优点和缺点
1.顶楼的优点：顶楼的价格优惠很大，住顶楼就再也不用担心楼上楼下的邻居打扰自己了。因此，与其... [详细]房产生活 2023-02-21 19:58:06
哪个软件最好借钱（哪个借款软件好借钱）
在当今社会，越来越多的人都需要借钱，但是不知道哪个借款软件好借钱。有很多借款软件可以选择，... [详细]个人信用贷款 2023-02-21 19:13:38
另一视角
换一换- 2023元旦高速公路有免费吗?
- 现在的取暖煤真的降价了吗？
- 煤炭价格下月能降下来吗？
- 煤炭价格为什么会爆涨？
- 我们这边现在一吨自己烧锅炉的1400—1800元了，你们那里多少钱啊
- 全国多地拉闸限电，企业出路究竟在哪里？
- 可以买腾讯了吗？中概互联ETF规模暴增，谁在抄底？
- 中国奥园被穆迪列入负面观察，是否会成下一个花样年？
- 我国三季度GDP同比增4.9%，今年能完成预定6%的目标吗？
- 90年代下岗的人，现在都在做什么工作？
- 广东又开始限电了，是不是制造业产能过剩了？
- mg通胀连续超记录之后,还会怎么走？
- 欧盟提出应对气候变化一揽子计划，企业和消费者将受到哪些影响？
- 苏伊士运河被堵事件分析
- 苏伊士运河被堵，长荣公司预计赔多少钱？
- 为什么日本作为发达国家，日元却这么不值钱？
- 澳大利亚铜精矿出口暴跌80%，澳企还能顶得住吗？
- 听说在新西兰居住超过10年，到65岁就可以领取退休金对吗？
- 俄罗斯真的有全民免费医疗吗？
- 欧盟各国，农村老人的养老金与城市老人养老金差距大吗？
- 苏宁任性付逾期有哪些后果
- 车贷首付几成不用银行流水（买车首付几成不用银行流水）
- 急用钱借款哪里最安全可靠（急用钱上哪借最安全）
- 什么正规的贷款平台容易通过的（哪些正规贷款平台好下款）
- 花呗不小心注销了还能开通吗（花呗不小心注销了还能开通吗怎么办
- 哪个网络平台借钱利率最低（哪个网络平台借钱利息最低）
- 查征信一定要身份证原件吗（查征信是不是一定要身份证）
- 桔多多是正规的贷款平台吗（桔多多是正规借贷平台吗）
- 车贷4厘5的利息贵吗（车贷44厘利息高不高）
- 随借随还贷款利息怎么算（随借随还的利息怎么还）
- 网贷逾期一年多，没人催收也没被起诉？
- P2P里的借方都可以不还钱了吗？为何不归为“失信”人？
- 如果网贷全面取缔来临，出借人和借款人，哪一个最受益？
- 卢志强从未投资团贷网 22万出借人觉得呢？
- 有多少人受了P2P的亏？有多少人投进去的钱拿不回来的？
- 手机hao被盗用，申请网贷，金融机构找我追款，怎么处理？
- 平台进行协商后要求借款者只还本金，不还征信会受到影响吗？
- 借了网贷钱后，还款也有套路？
- 欠了一大笔网贷，即将全面逾期，应该如何度过这个时期？
- 网贷逾期后，这个还款协议千万不能签！否则这辈子别想还清知道吗
- 2023年凝析油概念龙头股一览，两分钟带你了解
- 豆油概念股有哪些？ 2023年豆油概念股一览
- 2023年果蔬加工上市公司名单果蔬加工个股今日股价查询
- TOF概念股分类_TOF概念股上市公司有哪些(2/3)
- 今天游乐园股票的股价是多少？ A股游乐场有哪些上市公司？
- 3大“焦炭龙头”个股名单，赶紧收藏起来！ (2/3)
- 2023年A股VR头显龙头上市公司有哪些？ （2 月 5 日）
- 2023年二氟磷酸锂上市公司有哪些？二氟磷酸锂上市公司名单
- 金属锆概念股有哪些，金属锆概念股股价一览表
- A股酶制剂上市公司龙头股汇总 (2023/2/5)
- 是高市净率好还是低市净率好？
- 为什么最近很多人买基金都亏了？
- 基金都是牛市赚大钱，熊市亏大钱，为什么出现这样的情况？
- 为什么很多新基民喜欢买新基金？
- 首只ETF发行失败，基金募资失败或被清盘，投资者有哪些损失？
- 按照排行榜买基金，为什么总受伤？
- 100万用来买大盘基金，年收益用来当生活费，能不能做到一辈子不
- 投资者买基金时，买的是什么？
- “爆款基金”值得投资吗？
- 基金的表现，会均值回归吗？
- 如何看待那些把人民币兑换成美元现金放在家里的人？
- 今日人民币最新外汇牌价查询（2021年11月12号）
- 今日人民币最新外汇牌价查询（2021年11月11号）
- 今日人民币最新外汇牌价查询（2021年11月9号）
- usa的钱我们叫美元，那人民币走出国门，在国外叫什么？
- 今日人民币最新外汇牌价查询（2021年11月7号）
- 今日人民币最新外汇牌价查询（2021年11月6号）
- 今日人民币最新外汇牌价查询（2021年11月4号）
- 今日人民币最新外汇牌价查询（2021年11月2号）
- 今日人民币最新外汇牌价查询（2021年11月1号）
- 第24届冬奥会铜合金纪念币预约为何没有出现“秒杀”？
- 河南发现50吨特大金矿，对世界金价有影响吗？
- 个人储备较多黄金算违法吗？
- 可以把手里的闲钱买成黄金，来抵御货币贬值？
- 现货黄金行情分析软件下载后怎么做？
- 黄金典当和黄金回收，哪种方式好?
- Taper临近，滞胀担忧来袭，黄金真能翻身吗？
- 黄金现在跌到多少钱一克了？
- 非农数据“爆冷”，金价后续又将有怎样的走势？
- 2021年10月11号金店黄金价格今天多少一克？
- 商品房的预售证哪里可以查到 怎么在网上查商品房预售证
- 18层的槽钢层在哪几层 18层的楼房槽钢层在哪几层
- 新房预售许可证哪里可以查到 房子的预售证哪里可以查询
- 房子过户最安全的办法 怎么规避房产过户风险
- 住房公积金缴纳比例如何上调 住房公积金的缴存基数是如何算的
- 各地为什么绿化率计算规则不一样 有了绿化率如何算绿化面积
- 个人公积金账号在哪里开通 个人公积金账户如何开通大庆
- 2018老房产证贷款买新房流程 新房组合贷款办理流程详解
- 买房小产权房需要注意什么 买小产权房的最佳条件是啥
- 新的婚姻法房产加名字有效吗 现在婚姻法婚前房产可以加名字吗
- 夫妻两人每人月薪3000，工作稳定，小县城，能养的起比亚迪汉吗？
- 最近大雪，很多电动汽车都开不了了，电动汽车的发展之路是不是还
- 网友都说小米汽车以后会超越特斯拉，在技术上有实现的可能性吗？
- 特斯拉生产供应链基本都靠中国，为什么我们不能成，特斯拉能成？
- 汽车传感器市场分析，国产机会如何？
- 大家聊聊今年汽车行业市场行业现状与趋势？
- 存一万给一辆电动车，银行为什么那么大方？
- 为什么有那么多人骑电动车上班？
- 你觉得自动驾驶的前景如何？
- 拿到驾驶证后三年内没开过车，现在想买车，但是又担心开车技术不
- 中国城市GDP排名2020年排行榜-2020全国GDP省份排名一览表
- 2020年中国区块链企业百强榜
- 2019年全球银行千强排名，中国包揽前四，总利润3120亿美元
- 华尔街金融巨头有哪些？华尔街十大金融巨头排名排行榜
- 法国各大银行排名排行榜：法国巴黎银行排第二，第一名成立最早
- 德国银行排名排行榜：德国商业银行登榜，第一名德意志银行
- 巴西各大银行排名排行榜：巴西哪家银行最好？巴西银行仅第三
- 加拿大银行排名排行榜：皇家银行第一 历史最悠久的排名第四
- 2020全球500强排名排行榜完整版 世界五百强排名一览表
- 2020福布斯全球最新富豪排名排行榜 杰夫·贝佐斯位居世界首富第
- 夫妻两人每人月薪3000，工作稳定，小县城，能养的起比亚迪汉吗？
- 最近大雪，很多电动汽车都开不了了，电动汽车的发展之路是不是还
- 鄂尔多斯60万年薪，招清北毕业的教师，教师竞争越来越内卷了吗？
- 新东方真的给学生、老师退款了吗？
- 为什么一些没有技术含量的工作反而比有技术含量的收入高？
- 网友都说小米汽车以后会超越特斯拉，在技术上有实现的可能性吗？
- 特斯拉生产供应链基本都靠中国，为什么我们不能成，特斯拉能成？
- 汽车传感器市场分析，国产机会如何？
- 大家聊聊今年汽车行业市场行业现状与趋势？
- 李云迪还有出路吗？