概率神经网络概述
概率神经网络（Probabilistic Neural Network，PNN）是由D. F. Specht 在1990年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，它是以Parazen窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。
1.1 概率神经网络分类器的理论推导 由贝叶斯决策理论：
if p(w|x)?p(w|x) ?j?i,then x?w （1-1）
iji???
其中
p(w|x)?p(w)p(x|w)。
iii??一般情况下，类的概率密度函数p(wi|计如下：
x)是未知的，用高斯核的Parzen估
??p(x|w)?i?1Ni?k?1Ni12??l2lx?xik?2exp(?2?2) （1-2）
?其中，xik是属于第wi类的第k个训练样本，是样本向量的维数，平滑参数，Ni是第wi类的训练样本总数。
l?是
去掉共有的元素，判别函数可简化为：
?g(x)?i?p(w)Nix?xik?2N?exp(?k?1ii2?2) （1-3）
1.2 概率神经元网络的结构模型
PNN的结构以及各层的输入输出关系量如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。
图1 概率神经网络结构
如图1所示，PNN网络由四部分组成：输入层、样本层、求和层和竞争层。PNN的工作过程：首先将输入向量
x输入到输入层，在输入层中，网络计算输
?
入向量与训练样本向量之间的差值
|x-x|的大小代表着两个向量之间的距
ik??离，所得的向量由输入层输出，该向量反映了向量间的接近程度；接着，输入层的输出向量和，
x-xi?Mi?1??ik送入到样本层中，样本层节点的数目等于训练样本数目的总，其中M是类的总数。样本层的主要工作是：先判断哪些类
N??Ni别输入向量有关，再将相关度高的类别集中起来，样本层的输出值就代表相识度；然后，将样本层的输出值送入到求和层，求和层的结点个数是M，每个结点对应一个类，通过求和层的竞争传递函数进行判决；最后，判决的结果由竞争层输出，输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为1。
2.基本学习算法
第一步：首先必须对输入矩阵进行归一化处理，这样可以减小误差，避免较小的值呗较大的值“吃掉”。设原始输入矩阵为：
?X?XX??????X1121m1?X??X?X? （2-1）
??????XX?X121n222nm2mn从样本的矩阵如式（2-1）中可以看出，该矩阵的学习样本由m个，每一个样本的特征属性有n个。在求归一化因子之前，必须先计算B矩阵：
T?1B????x1k?Tnk?112?x2kk?1n2?1?xmkk?1n2?? ??然后计算：
C?B?11?1??Xm?nm?11?nm?n??????????x11x112Mx21Mx22?1x1n?xm1M2?xmm2M?2Mx2n1??m?xmnM2MMMm??????????CC?CC???????CC111221m122m2?C??C???????C?1n2nmn2n2n2 （2-2） 式中，M1??x1k,M??x2k,?,M??xmk2mk?1k?1k?1n
则归一化后的学习矩阵为C。在式（2-2）中，符号乘法运算时，相应元素之间的乘积。
“?”表示矩阵在做
第二步：将归一化好的m个样本送入网络样本层中。因为是有监督的学习算法，所以很容易就知道每个样本属于哪种类型。假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k，于是m=k*c。
第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元素之间的距离。假设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的输入样本矩阵为：
?dd?dd D???????dd11122122p1p2?d??d?? （2-3）
?????d?1n2npn计算欧氏距离：就是需要是别的样本向量，样本层中各个网络节点的中心向量，这两个向量相应量之间的距离：
??d1k?c1k???d2k?c2kE??????dpk?c1k??E?E??EE????????E?Enk?1nk?1nk?111122122p1p22?d1k?c2kk?1nn2?????d1k?cmk?n2k?1n2?d2k?c2kk?12?d2k?cmkk?12?2??dpk?cmkk?1n2?dpk?c2kk?1n2???????E????E?2mpmE?1m （2-4） 第四步：样本层径向基函数的神经元被激活。学习样本与待识别样本被归一化后，通常取标准差??0.1的高斯型函数。激活后得到出事概率矩阵：
??eE??Ee??P????E??e??2?2?2112eeeE122??2212?E2222??p12Ep22?2?e???PP?P?E????e???PP?P? ??????????E????e????PP?P??22E1m11121m?22m221222m?2pm2p1p2pm (2-5)
概率神经网络
