麦卡洛克–皮茨神经元是一种理想化的神经细胞数学模型,按照阈值规则产生二值输出。沃伦·S. 麦卡洛克和沃尔特·皮茨于1943年提出了这一模型,推动确立了这样一种观念:由简单的类神经元单元组成的网络能够进行逻辑计算。它是人工神经网络和人工智能发展史上的基础模型。与大多数现代神经网络单元不同,原始模型的连接固定,采用离散时间步,且没有学习规则。
历史起源
麦卡洛克和皮茨在1943年发表于《数学生物物理学通报》的论文《神经活动内在观念的逻辑演算》中提出了这一模型。他们的目标是运用数学逻辑学描述神经活动的某些方面,而不是完整再现生物神经元的生理机制。
该模型结合了两种抽象:神经元的活动可以表示为“全或无”事件,而产生这一事件的条件可以用逻辑来表达。因此,这类单元组成的网络可以作为将一种活动模式转换为另一种活动模式的系统来分析。
这种方法早于可训练神经网络的发展。它的核心贡献在于说明连接得当的类神经元单元能够计算什么,而不在于解释如何通过经验学习这些连接。
原始模型
麦卡洛克–皮茨神经元有两种可能的输出状态:激活和未激活,通常用 和 表示。它的输入同样是二值的。连接分为两类:
- 兴奋性连接:其激活的输入有助于达到发放阈值。
- 抑制性连接:只要其输入处于激活状态,就会阻止神经元发放,无论兴奋性输入如何。
原始表述作出了几项简化假设:
- 神经元活动遵循“全或无”原则。
- 触发神经元需要固定数量的兴奋性输入同时处于激活状态。
- 任何处于激活状态的抑制性输入都会否决发放。
- 突触延迟构成基本时间单位。
- 网络结构在运行过程中保持不变。
这些假设的一种标准离散时间表达式为
其中, 和 分别为兴奋性输入和抑制性输入的集合,, 为发放阈值。
时间下标具有重要意义:输出是在经过一个离散延迟后产生的,而不是瞬时产生。因此,连续的各层神经元会依次引入延迟。
阈值规则可以看作一种二值激活函数。不过,绝对抑制是一个独立的逻辑条件,而不只是在兴奋性输入之和中加入一个较小的负值。
加权阈值解释
现代教科书常在更宽泛的意义上使用“麦卡洛克–皮茨神经元”一词,用它指代二值加权阈值单元:
其中
这里的权重 可以为正,也可以为负。使用偏置 ,可得到等价表达式:
这是一种有用的推广,但应当与原始模型加以区分。在一般的加权阈值单元中,足够多的正向输入可以抵消负向输入的作用。而在原始表述中,抑制性输入具有无条件的否决权。
不过,对于一个固定且有限的二值输入集合,可以选择绝对值足够大的负权重,使任何允许的兴奋性输入组合都无法抵消它,从而在数值上实现抑制性否决。这种构造将否决机制编码到了权重中;任意负权重并不会自动具备这种作用。
逻辑运算
该模型的重要性,部分来自它能够利用阈值单元实现逻辑门。
对于两个兴奋性输入 和 ,将阈值设为 即可得到与运算:
或运算使用相同的输入,但阈值为 :
抑制机制可以直接实现涉及否定的条件。例如,一个兴奋性输入 、一个抑制性输入 ,加上阈值 ,可以得到
实现独立的非运算时,需要注意模型采用的约定。在广义加权表述中,
是不正确的,因为对于二值的 ,它永远不会激活。正确的阈值构造是
在阈值为正的兴奋–抑制表述中,可以引入一个持续激活的兴奋性输入,并将 设为抑制性输入,以构造相同的运算。这样的恒定输入是一项额外设置,并非仅凭抑制机制就能得到。
只要适当提供否定和常量,网络就能实现任意有限元布尔函数,因为与、或、非构成一个功能完备集。在同步网络中,不同路径可能需要加入延迟单元,以确保参与组合的信号对应同一输入时刻。
单个神经元的表达局限
单个加权阈值单元无法表示所有布尔函数。它的决策规则利用超平面划分输入,因此其表示能力受到线性可分性的限制。
典型例子是异或,即 XOR:
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
不存在单个线性阈值能够将两个正例与两个负例分开。由多个单元组成的网络则可以计算异或,例如通过实现
因此,单个神经元的局限不一定也是网络的局限。借助中间单元,网络能够组合出单个阈值无法表达的决策。
网络、反馈与记忆
由麦卡洛克–皮茨神经元组成的前馈网络,通过一系列层将输入转换为输出。它可以理解为一种具有显式传播延迟的组合逻辑。
反馈会改变这一情况。神经元后续的活动可以依赖网络先前的活动,使网络能够保持内部状态。这将该模型与循环神经网络和有限状态机联系起来。
如果一个网络包含 个二值神经元,其活动向量最多有 种可能状态。在连接固定且更新规则确定的情况下,下一状态由当前状态和外部输入共同决定。因此,反馈能够支持持续活动、周期循环,以及依赖输入历史的响应。
关于通用计算能力的论断,还需要作进一步区分。一个固定的有限网络只有有限个内部状态,其本身并不是具有无界存储能力的图灵机。要模拟图灵机,需要适当的无界资源,例如可无限扩展的网络或外部存储。
与后续神经模型的关系
麦卡洛克–皮茨神经元与感知机关系密切,因为两者通常都表示为阈值单元。关键区别在于,感知机配有根据样例调整权重的过程。原始的麦卡洛克–皮茨模型规定的是固定的逻辑行为,并不会从训练数据中学习。
现代网络还引入了更多变化:
- 输入和输出通常为实数值,而非二值。
- 权重和偏置是可调整的参数。
- 激活函数可以是光滑函数或分段线性函数。
- 学习过程通常使用反向传播计算梯度。
硬阈值不适合常规的梯度训练,因为它在阈值以外各处的导数均为零,而在阈值处导数没有定义。现代训练方法通常会用其他函数替代它,或采用专门的估计方法。
用途与局限
该模型至今仍有助于讲授阈值逻辑、神经网络发展史,以及网络计算能力与学习能力之间的区别。它的规则明确,也使小型网络适合直接分析或进行形式验证。
作为生物神经元的模型,它有意保留了有限的描述范围。它省略了详细的细胞膜动力学、分级的突触效应、树突处理、适应现象,以及精确脉冲时序所携带的大量信息。其全局离散的时间机制和绝对抑制性否决都是数学上的理想化处理。这些简化使逻辑分析成为可能,但也使该模型无法详细描述神经生理机制。