基于AIC方法的切换神经网络模型设计
连 捷＊， 张 凯
【摘 要】摘要：将切换系统设计中的切换思想与神经网络相结合，构建了切换神经网络模型.根据模糊C均值（FCM）聚类方法将样本数据分为多组训练数据，每组数据对应训练一个单一神经网络模型，再利用赤池信息准则（AIC）制定相应的切换规则.根据输入数据特性，选择单一网络或多网络组合的输出作为模型输出，从而达到函数逼近目的.本模型更好地利用了各个子网络在特定区域具有较高逼近精度的特点.仿真结果表明，切换神经网络模型有较高的逼近精度. 【期刊名称】大连理工大学学报 【年(卷),期】2011(051)006 【总页数】6
【关键词】切换神经网络；AIC；FCM聚类
0 引 言
混杂系统由于其在实际工程中的广泛应用而得到深入研究.切换系统作为一类特殊的混杂动态系统，由一组连续（或离散）时间子系统和一条决定子系统之间如何切换的切换规则组成，整个切换系统的运行情况受控于这条切换规则.对于切换系统的研究近些年已经出现了大量的成果[1～3]，包括稳定性、能控性、能观测性、控制器综合等.
神经网络由于其特有的结构与特点，早已成为很多学者重点研究的方向.又由于集成神经网络和切换神经网络的出现，神经网络的研究进入了崭新的阶段.1990年Hansen等[4]开创性地提出了神经网络集成方法，并证明通过简单地结合神经网络模型就可以显著地提高模型泛化能力.近年来集成神经网络模型被广泛应
用于各个领域，许多学者也根据不同的应用情况，针对集成网络模型的逼近精度和泛化性能进行改进[5～10].在文献[11]中作者对多种集成神经网络做出了评价和比较.提出对神经网络集成实现方法的研究主要集中在两个方面，即怎样将多个神经网络的输出结果进行结合以及如何生成集成中的个体网络.2005年Huang等[12]首次将切换的思想引入神经网络模型中，提出了切换Hopfield网络模型，并给出了网络在任意切换下稳定的条件.此后，一些学者将此设计思想应用于其他网络[13、14]，也对其切换稳定性进行了分析证明.
本文主要工作是将切换思想与前向神经网络结合，构造切换神经网络模型；利用模糊C均值（FCM）聚类方法和赤池信息准则（AIC）将训练数据分类并为模型建立切换规则.
1 切换神经网络模型结构
基于AIC方法的切换神经网络模型（AICSNN）如图1所示，它由多个神经网络和一条切换规则构成.各个子网络训练结束后，制定相应的切换规则，此后模型的运行方式由切换规则决定.
在对每个神经网络训练之前要对训练数据进行聚类处理.在一些设计中，通常会选择K均值聚类，聚类后再利用每一类的数据训练神经网络.K均值聚类是将数据硬性划分到某一类中，使用这种分类方法的缺点是在结束训练后，网络在每类数据边缘处的输出达不到很高的逼近精度.尽管各个网络加权求和输出有可能减小误差，但是在边界处过大的误差也会使权值的确定出现偏差.本文使用FCM聚类方法对输入数据进行聚类.FCM聚类方法是将数据划分为n类，每个数据点用0～1的数表示属于各个类的程度.与引入模糊划分相适应，隶属度矩阵U中的元素取值范围为（0，1），并且各数据集的隶属度的和等于1.
式中：n为类别数；c为分类样本数；uij表示第i个样本属于第j类的隶属度.通过确定归为某一类的隶属度就可以将数据进行分类，各类之间可以有重叠，所以利用FCM聚类方法对样本数据分类可以解决K均值聚类导致边缘精度下降的问题，而且FCM聚类方法还可以增加每类训练数据的个数，提高网络训练精度.
2 切换规则设计
本文根据隶属度与切换网络训练误差的关系设计切换规则. 2.1 隶属度与网络训练误差的关系
在训练数据分类时首先要确定数据点归为某一类的隶属度，以作为数据分类的标准，即当数据对于某一类的隶属度大于时，则将数据归为此类.假设类别数为n，则一定要小于1/n，以保证所有数据都能分到每一类中.分类结束后，分别使用每一类数据对相应的神经网络进行训练.为了更好地设计切换规则，下面将分析隶属度与切换网络训练误差的关系.
为了说明方便，将FCM聚类用图2直观地表示.图中A统一表示非重叠部分，B统一表示重叠部分（图2中只标出了两两重叠部分）.每一类数据训练一个神经网络，比较子网络在不同区域的逼近精度.利用函数
作为测试函数，将A1中的训练数据输入其他子网络，发现输出误差远大于A1训练数据对应的子网络误差.这一点也说明不同网络通过不同区域数据训练后，网络性能也会在不同区域有着明显的差别.因此在非重叠区域可以用隶属度确定需要运行的子网络.
Bi（i＝1，2，3）区域为重叠区域，选择某一 Bi区域进行仿真，分析隶属度与训练误差的关系.图3为隶属度与误差的曲线图，x为Bi区域数据，e1（x）、
基于AIC方法的切换神经网络模型设计
