第586章 怎么理解激活函数是连接感知机和神经网络的桥梁

职场小聪明 翟晓鹰 863 字 1个月前

激活函数:连接感知机和神经网络的桥梁

要理解激活函数如何把简单的感知机变成复杂的神经网络,我们可以用一个故事和一个比喻来说明。

故事比喻:魔法学院的考核门

在一座神秘的魔法学院里,有许多魔法师想要进入更高等级的殿堂学习更强大的法术。但这座学院设有一道道考核门,每一扇门都会评估魔法师的潜力,决定他们是否有资格进入下一层。

这些考核门,就像神经网络中的激活函数,它们决定哪些信息可以继续往下传递,哪些信息应该被忽略。

激活函数的作用:筛选并放大关键信息

每个魔法师在进入考核门之前,都需要经过以下流程:

1. 计算魔力值(感知机的加权求和)

? 每个魔法师的能力不同,有些擅长火球术,有些擅长治愈术,还有些只是普通人。

? 在进入考核门之前,学院的考官会对每位魔法师的天赋进行加权评分(相当于神经网络的加权求和)。

? 比如,火系魔法的分数高,治疗系魔法的分数低,不同魔法的权重不同。

比喻: 这就像感知机中的线性计算,它只是单纯地累加输入信息,但还没有真正决定“谁能晋级”。

2. 进入考核门(激活函数的作用)

? 魔法学院的考核门不会让所有魔法师都进入下一层,它会根据他们的魔力值来筛选:

? 如果魔力值太低,考核门会直接关闭(相当于 ReLU 函数把负值变成 0)。