滤数据，避免“全进或全不进”这样极端的情况。
?
适用于二分类问题（比如邮件是垃圾邮件还是正常邮件）。
问题：
?
计算比较复杂，不像
ReLU
那么直接。
?
当数据过大或过小时，变化很小，容易导致梯度消失（学习速度变慢）。
第四种情况：老张更加智能（Softmax
激活函数）
有一天，老板告诉老张：“我们公司不仅有正式员工，还有不同的部门，比如工程部、市场部、财务部。你不能只区分‘进或‘不进，而是要把人分到不同的部门。”
于是，老张开发了一套更加高级的评分系统，不仅判断某人是否能进，还会计算他属于哪个部门的概率。
?
如果一个人穿着工程师制服，90%
可能属于工程部，10%
可能属于市场部。
?
如果一个人拿着营销资料，80%
可能属于市场部，20%
可能属于工程部。
?
每个人都按照最高概率归类到相应部门。
这就像Softmax
激活函数，它的作用是：
?
把所有的可能性转换成概率分布（所有概率加起来是
1）。
?
适用于多分类问题（比如识别一张图片是“猫”、“狗”还是“兔子”）。
优点：
?
适合多类别分类，可以告诉你**“最有可能”是哪一类**。
问题：
?
计算量比
ReLU
大一点，但在分类任务中是最合适的。
总结：不同激活函数的角色
激活函数
比喻
适用场景
优点
问题
恒等函数（Identity）
老张不筛选，所有人都能进
线性回归
简单直接
不能处理复杂问题
ReLU
老张只让正式员工进，其他人全拒
深度学习、CNN
计算简单，效率高
负数全部变
0，信息可能丢失
Sigmoid
老张给每个人打分，决定能不能进
二分类问题（垃圾邮件分类）
平滑过渡，输出
01
概率
容易梯度消失
Softmax
老张不但决定谁进，还要分部门
多分类问题（图像识别）
适合多分类问题
计算比
ReLU
复杂
结论：激活函数=智能筛选机制
?
激活函数的作用就像门卫老张，决定哪些信息能进入下一层，哪些要被拒绝。
?
不同的激活函数适用于不同的任务，ReLU、Sigmoid、Softmax
各有千秋。
?
深度学习的关键就是如何聪明地使用这些筛选机制，让神经网络学得更快、更准确！
你更
第583章 激活函数[2/2页]