第一章
神经网络计算
§1-1神经元模型 一、概述
神经网络的特点
1. 定义：用于模拟人脑神经元活动过程，包括对信息的加工、处理、存贮和搜索过程。 2. 特点
（1） 信息分布式存贮
（2） 信息的并行处理与推理 （3） 信息的自组织、自学习 二、神经元的模型特征
神经元——多输入单输出的信息处理单元
膜电位——细胞内部和外部具有不同的电位，当外部电位为零时，内部电位称为膜电位。 ωi>0 —— 兴奋性神经元的突触 ωi<0 —— 抑制性
ωi=0 —— 第i个输入信号对该神经元不起任何作用 神经元具有以下特征：
1. 时空整合功能： （1） 空间总和：
定量描述为：整个神经元的膜电位（状态变化）与输入信号与其权重的线性组合：
??x 是线性相关的
iii?1n（2） 时间总和：不同时刻的输入信息对神经元的影响会重叠，加起来，同时起作
用。
（3） 时空整合： 根据空间和时间总和，神经元对不同时刻和不同部位的输入进
行处理，该过程称之为时空整合作用。 定量描述为：设第i个输入信号t时间后对膜电位的影响为ωi（t′(t)）,则在t时刻，神经元膜电位的变化与下式有关：
??i?1nt???i(t?t’)xi(t’)dt’ （1—1）
式中
xi(t’)——第i个输入在时间t′时的输入信号
2 阈值特性
神经元的输入输出之间为非线性，如图1—2所示：
图1—2 阈值特性
即：
_??y??yu???
??0u???——阈值
3. 不应期 ?本身是随着兴奋程度的变化而变化。
绝对不应期——当?—>?时，无论输入信号多强大，也不会有输出信号。 4. 突触结合的可塑性：即权重ωi是实时变化的。
二、 神经模型
入
图1—3 神经元模型
输入处理：
ui???K?IKk?1n (1—2)
活化处理：输出处理：
xi(t)?Fi(ui,xi) （1—3） oi(t)?fi(xi) （1—4）
式中，fi（）——输出函数，根据不同模型而定。
介绍三种典型的神经元模型： 1. 阈值单元模型（MP模型）
MP模型——处理0和1二值离散信息的阈值单元模型。 MP模型的数学表达式为：
yi???1(兴奋)?ijxj??i(??ijxj??i)?? 0(抑制)?x???j?1ijji?n(?)——阶跃函数
2. 准线性单元模型
特点：输入和输出均为连续值。（BP网络） 神经元i的总输入为：
x i???ijxj??i （1—6）
j?1n输出为：
yi?fi(xi)?1
1?exp(?xi??i)（1—7）
3. 概率神经元模型：
特点：输入信号采用0与1的二值离散信息，并把神经元的兴奋与抑制以概率表示。 神经元的总输入为
ix???ijxj??i （1—8）
j?1n有
xi到输出yi的概率分布为：
1 (1—9)
1?exp(?xi/T)P(yi?1)?式中：T——网络温度的函数 应用：用于Boltzman神经网络。
三、 基于控制观点的神经元模型
其主要功能由下列三部分完成： 1. 加权加法器---空间总和，即：
?i(t)??aijyi(t)??bikuk(t)??i （1—10）
k?1k?1nM j
?i——常数，其作用是控制神经元保持某一状态。
2. SISO线性动态系统---时间总和：
SISO线性系统对于单位脉冲函数的响应就完成了时间总和，该响应为卷积分：
xi??h(t?t')vi(t')dt' （1—12）
??式中，h（t）函数常选用下列五种形式：
t
神经网络及其控制课件
