翟晓鹰 作品

第562章 感知机

感知机的故事:守门人的抉择

在一个遥远的王国里,有一座神秘的城堡,城堡的大门前站着一位忠诚的守门人。国王交给他一个任务:只允许“贵族”进入城堡,而“平民”必须被拒之门外。然而,这些贵族和普通人穿着相似,守门人不能单纯靠直觉来分辨。于是,国王给了他一份规则手册,其中列出了判断贵族身份的几个标准,比如:

? 衣服的颜色是否是紫色(在这个王国,紫色是高贵的象征)。

? 是否佩戴金色徽章(贵族都有金色家徽)。

? 说话的语气是否庄重(贵族受过严格礼仪训练)。

守门人会观察每个来访者,并根据这些特征来做出判断。最初,他的判断并不完美,有时会放错人进去,有时又会错把贵族挡在门外。但随着时间的推移,他不断总结经验,调整自己的标准,变得越来越准确。

守门人的决策方式(感知机的运作)

让我们看看守门人的思考过程,他需要做出一个简单的“是”或“否”决策,这与感知机的计算方式如出一辙:

1. 观察来访者的特征(输入):

? 这人穿的衣服是紫色的吗?()

? 这人戴着金色徽章吗?()

? 这人的言行得体吗?()

2. 给每个特征赋予一个重要性权重():

? 守门人会认为“穿紫色衣服”更重要一些,所以给它一个较高的权重(例如 )。

? “佩戴金色徽章”也很关键,但稍微次要一些,权重可能是 。

? “说话是否庄重”虽然重要,但容易误判,所以权重较小,例如 。

3. 计算总评分:

? 守门人会将每个特征的值(是=1,否=0)乘以对应的权重,再加总。例如:

这里的 是偏置,相当于守门人的经验或直觉。

4. 做出最终决定(激活函数):

? 如果总评分高于某个阈值(例如 0.6),守门人就会认为这个人是贵族,允许进入城堡。

? 否则,他就会拒绝来访者。

不断学习的守门人(感知机的训练)

一开始,守门人的判断可能不够准确,他可能会让一些平民误入城堡,或者误拒了某些贵族。但每次犯错后,国王都会告诉他正确答案,然后他会调整自己的标准。例如:

? 如果他错把一位贵族拦在门外,他会提高对金色徽章的重视程度(增加 )。

? 如果他误让一个普通人进入,他会降低对衣服颜色的权重(减少 )。

这种调整过程就类似于感知机的权重更新,公式如下:

其中:

? 是正确答案(国王告诉他的)。

? 是他自己做的判断(可能错误)。

? 是调整步伐的大小,相当于守门人的学习速度。

随着不断实践,他的判断能力越来越强,最终可以精准地区分贵族和平民。

感知机的局限性:xor 问题的故事

然而,守门人的方法也有局限性。例如,有一天,他遇到了一个难题:王国里来了一些新的访客,他们既没有穿紫色衣服,也没有佩戴金色徽章,但他们是国王的密使,理应被允许进入。

然而,他的规则手册无法应对这种情况,因为它依赖于“简单的线性规则”来做决策。如果一个访客的身份不是“紫色+金徽章”的简单组合,他就无法正确判断。

这个问题在数学上被称为xor(异或)问题,即:

? 贵族可能是(紫色衣服,金色徽章)或(没有紫色衣服,没有金色徽章)。

? 平民可能是(紫色衣服,没有金色徽章)或(没有紫色衣服,有金色徽章)。

这时,守门人发现,他仅凭简单的加权打分无法解决这个问题,需要一个更复杂的逻辑。

这个问题最终在1970年代被多层感知机(n、rnn、transformer)均可看作是感知机的多层扩展。

7. 结论

感知机是神经网络的起点,尽管它本身只能处理线性问题,但它的核心思想为后续的深度学习技术奠定了基础。随着神经网络的发展,我们可以看到现代深度学习模型实际上是对感知机的不断优化和扩展。