1、1,ASSOCIATIVE MEMORY IN QUATERNIONIC HOPFIELD NEURAL NETWORK 基于四元数的Hopfield联想记忆模型,四元数的代数结构,加法:,2,模:,乘法:,共轭:,数乘:,逆:,3,激活函数:,神经元模型,网络描述:离散时间双极值的Hopfield网络,采用串行工作方式,4,网络权值矩阵,这里N表示样本向量的维数,即网络中神经元的个数,0p,q N; np表示样本的个数,权值矩阵W是一个NN的矩阵.,权值矩阵W是共轭对称,对角元非负的:,5,收敛性结果,结果:对于串行的离散时间双极值的四元数Hopfield网络,若权值矩阵共轭对称 且对角元非
2、负,则每次迭代后,能量函数E是单调减的(非严格).,能量函数:,6,数值试验1,实验描述:3个神经元存储1个样本,存储样本:,权值矩阵:,不动点:由于网络中只存储了一个样本, 1和(-1)肯定是网络的不动点,7,数值试验1,1, 2, ,16称为一个多重态(multiplet); 2, 3, ,16称为样本1的退化模式(degenerated pattern).,表中的16个向量都是网络的 不动点,并且权值矩阵W均 可以由表中任意一个向量产生,8,多重态现象的原因,由于网络是双极值的,即四元数的每个分量只能取1或-1,满足要求的 a只有16个,所以一组多重态所含向量的个数是16.,多重态现象的
3、好处: 相当于扩大了“收敛域” ,当网络收敛到1的退化模式也是有意义的,因为退化模式中的向量只要经过一个单位变换就可以变换为样本1.,单位变换:,9,数值试验1,浅灰:收敛到相应向量 深灰:未收敛到相应向量,取4080个向量,按照汉明距离分成11组,汉明距离:,例:,10,数值试验2,实验描述:4个神经元存储1个样本,存储样本:,权值矩阵:,11,数值试验2,浅灰:收敛到相应向量 中灰:未收敛到相应向量但收敛到其退化模式 黑色:以上两种情况外,取65520个向量,按照汉明距离分成15组,12,数值试验3,试验描述:比较四元数Hopfield网络和实值Hopfield网络的抗噪声能力,1,采用40个神经元,噪声:只发生在四元数的实数部分,即只对1的第1列进行干扰; 噪声率:若噪声率为0.5,表示随机改变1的第1列中的20个分量; 收敛成功:1)收敛到12)收敛到1的退化模式,13,数值试验3,1,采用40个神经元,14,数值试验3,2,采用100个神经元,15,数值试验3的结果分析,原因1:四元数虚数部分信息对于实数部分的支持,试验中虚数部分信息是 准确的,直观的解释就是由于四元数乘法规则造成的:,原因2:“收敛域”的扩大,即四元数多重态中的向量个数大于实数域多重态中的向量个数.,16,问题,1,四元数Hopfield网络的存储容量和不动点 2, TSP问题 3,网络模型的推广,