1、.神经网络算法在医学图像压缩中的应用研究摘 要随着图像处理技术的不断进步和发展，数字成像技术在医学中的应用日益广泛，产生了大量的数据，给图像的存储和传输技术提出了严峻的挑战，解决它的关键技术之一就是医学图像压缩技术。传统的图像压缩方法很多，但大多存在压缩比低、误差大的缺点。基于神经网络的图像压缩技术，在理论和技术上开辟了图像压缩的新途径。BP（Back Propagation）网络是1986年由Rumelhart 和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入- 输出模式映射关系，而无需事前
2、揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input） 、隐层(hide layer)和输出层(output layer)。BP 神经网络算法具有以下优点：网络实质上实现了一个从输入到输出的映射功能、网络能通过学习带正确答案的实例集自动提取“合理的” 求解规则、网络具有一定的推广能力。BP神经网络是一种由输入空间到输出空间的数学映射，能以任意精度逼近任何线性或非线性映射。基于人工神经网络的图像压缩理论与方法成为当今图像处理领域的研究热点。【关键词】医学图像压缩；误差逆传播算法
3、；BP神经网络；数学映射；自学习；.The Application Of Neural Network Algorithm In Medical Image CompressionABSTRACTAlong with the advance of image processing technology and development of digital imaging technology has been used increasingly in medical, produced a large amount of data, for image storage and transmis
4、sion technology put forward the severe challenge, it is one of the key technology of medical image compression technology. The traditional image compression method are many, but most of the low compression ratio, the error big shortcoming. Image compression technology based on neural network, on the
5、 theory and technology has opened up a new way of image compression. BP (Back Propagation) network is a group of scientists headed by Rumelhart and McCelland in 1986, is a kind of according to the error Back Propagation algorithm training of the multilayer feedforward network, is currently one of th
6、e most widely used neural network model. BP network can learn and store a lot of input - output model mapping, without prior reveal describe the mathematical equations of the mapping relationship. Its learning rule is to use the steepest descent method, by back propagation to constantly adjust the n
7、etwork weights and threshold, minimize the error sum of squares of the network. BP neural network model of topological structures include input layer (input), the hidden layer (hide layer) and output layer (output layer). BP neural network algorithm has the following advantages: essentially implemen
8、ts a mapping from input to output function, the network can take the correct answer by learning instance set automatically extracting rules of “reasonable“ solving, network generalization ability. The BP neural network is a kind of mathematical mapping from input space to the output space, can appro
9、ach any linear or nonlinear mapping with any degree of accuracy. Image compression based on artificial neural network theory and method become a research hotspot in the field of image processing. 【Keywords】Medical image compression; Error back propagation algorithm. The BP neural network; Mathematic
10、al mapping; Since the study; .目录引言 - 1 -第 1 章 绪论 - 2 -1.1 课题的研究背景及意义 - 2 -1.2 国内外研究现状 .- 4 -第 2 章 图像压缩与神经网络简述 - 6 -2.1 几种典型的图像压缩编码技术 .- 6 -2.2 图像压缩编码的性能指标 .- 7 -2.3 神经网络模型 及应用 .- 8 -第 3 章 基于标准 BP 神 经网络的图像压缩 .- 10 -3.1 BP 算法的基本思想 - 10 -3.2 BP 算法研究 - 10 -3.3 BP 学习算法 - 12 -3.4 基于 BP 算法的神经网络用于图像压缩编码 - 1
11、5 -3.5 基于 BP 网络的图像压缩算法 仿真 - 16 -结论和展望 - 21 -致谢 - 22 -参考文献 - 23 -附录 A 外文文献及译文 - 24 -附录 B 主程序 .- 28 -附录 C 主要参考 文献摘要及题录 - 30 -.插图清单图 3-1 工作信号正向传播，误差信号反向传播 11图 3-2 三层 BP 网络模型 13图 3-3 压缩比为 8 时误差性能曲线 19图 3-4 压缩比为 8 时训练状态图 20图 3-5 原始图像 20图 3-6 s=8 压缩后图像20图 3-7 压缩比为 16 时误差性能曲线21图 3-8 压缩比为 16 时训练状态图21图 3-9 s
12、=16 压缩后图像22图 3-10 压缩比为 32 时误差性能曲线22图 3-11 压缩比为 32 时训练状态图23图 3-12 s=32 时的压缩图像 23.表格清单表 3-1 n=16 的新的激活函数及其一阶导数 13.引言多少年来，人们从医学、生物学、生理学、信息与计算机科学等各个角度试图认识人的大脑和神经。在寻求研究过程中，逐渐形成了一个新兴的多学科交叉技术领域，这就是“人工神经网络 ”。神经网络的研究涉及众多科学领域，这些学科互相结合、相互推动，而不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度着手研究。随着科学技术，特别是信息技术的发展，图像处理技术已经成
13、为科学研究不可缺少的强有力地工具，传统的图像处理方法无法满足需要，研究人员开始探索新的更有效的方法，其中利用神经网络进行图像处理是最活跃的方向。神经网络算法比起传统的算法表现出了很大的优越性，这主需要表现在：（1）高度并行处理能力，处理的速度远远高于从传统的序列处理算法；（2）具有自适应能力，能够根据学习提供的数据样本找出和输出数据的内在联系；（3）非线性映射功能，图像处理很多问题是非线性问题，神经网络为处理这些问题提供了有用的工具；（4）具有泛华功能，能够处理带有噪声的或不完全的数据。最初，人工神经网络是作为模式识别分类器和聚类技术在图像处理领域中得到应用的。然后随着神经网络理论的进一步研究
14、，神经网络的特点得到充分的认识，在图像处理的各个领域得到了充分的应用，如印刷体和手写字符识别、语音识别、指纹、人脸识别、图像压缩复原等。近年来，Eckhorn 等通过对小型哺乳动物大脑皮层神经系统工作机理的仔细研究，提出了一种解释在猫的大范围大脑皮层中实验观察到的特征有关同步行为的简化模型脉冲耦合神经网络。这种模型作为一种新型的图像处理工具，具有以空间邻近和亮度相似集群的特点已在图像分割、图像融合、图像凹点检索、图像目标检测、最短求解等问题中有广泛的应用研究。.第 1 章 绪论1.1 课题的研究背景及意义1.1.1 图像压缩简介随着计算机技术、通信技术、电子技术、电视技术及其他工业技术的迅速发
15、展，计算机多媒体、互联网络、可视电话、高清晰电视等通信和数据业务正方兴未艾，而数字图像处理作为其中的关键技术之一，其中用范围和应用层次也正在不断拓展。我们知道，图像数字化后其数据量也是非常大的，大量图像数据的存储和传输是数字图像处理中最基本的问题，也是最大的难题之一。解决这个难题的唯一途径就是对图像数据进行压缩，图像压缩的效率和质量直接关系图像数据的存储量、传输率及图像的视觉效果，因此，图像压缩技术实际上是数字图像处理中最关键、最重要的技术，也是直接决定多媒体、互联网络、可视电话、高清晰电话等业务发展与应用的关键因素之一。图像压缩是指在保证图像质量的前提下，没法用更少的数据来表示图像内容，从而
16、减少存储图像所需的容量，减少传输图像所需的带宽和时间，最终提高数字图像应用的效率和效果。从1948年数字电视传输的思想被提出开始，广大科研技术人员对图像压缩技术进行了系统而深入的研究，并取得了一系列的理论和应用成果。经典的图像压缩方法有预测编码、变换编码、和矢量量化等。近二十年来，一些新的理论和方法如小波分析、分形、神经网络等也都已经成功应用于图像压缩，使得这一领域的研究与应用空前活跃，成为当前国际学术界和工程应用领域的研究热点之一。目前，图像压缩技术正处在不断研究发展和完善的过程中，要实现图像在低速信道上的有效传输，要使数字图像的压缩效果和效率达到用户十分满意的程度还有许多问题需要解决，因此
17、，研究新的、更高效的图像压缩理论和方法有着重大的实际应用价值，而基于神经网络的压缩方法在这面是可以有所作为的。1.1.2 人工神经网络的背景人脑在接受视觉感观传来的大量图像信息后，能够迅速做出反应，并在脑海中重现这些信息，这不仅与人脑的巨大信息储存能力有关，还说明人脑具有较强的特征提取能力。人工神经网络虽然是人脑的简单模拟和抽象，但具有许多与人脑相似的信息处理能力，自然也具有较强的数据压缩能力，一些神经网络模型能直接提供数据压缩就是一个很好的例子。由于现实图像内容变化的随机性，对图像的分割以及平稳区域与非平稳区域的数学描述还没有找到一个有效的手段和方法，试图用一种图像模型来描述自然界千奇百怪的
18、图像是不现实的，而人工神经网络在解决类似的黑箱上特别有效，故可以用神经学习图像中规律性的东西，通过神经网络自适应机制，如结构自适应、学习率参数的变化和连接权值的变化等进行调整。因此，可以利用神经网络的特点对图像信息进行有效的分解、表征和编码，从而取得传统方法无法比拟的结果。这就是将人工神经网络用于图像压缩的基本思想和出发点。具体来讲，与传统的图像压缩方法相比，人工神经网络具有如下一些优势：(1) 图像信号的正交变换中，如果所选的基向量与图像信号的协方差矩阵的特征向量接近，则变换域内图像信号的相关性将明显下降，能量相对集中，就能使图像信号的带宽得到较大压缩，此时的变换比较接近最佳线性变换(KLT
19、)。对于随机性很强的图像信号来说，很难找到一种与不同统计特性的图像信号完全匹配的变换，因此变换矩阵中基向量的选择不是固定的，这就给最佳变换编码的实现带来了困难，而神经网络.的强映射力和非线性特性，使它可以学习具有相当接近输入信号特征空间基的能力，因此用来解决最佳变换的实现是很有效的；(2) 神经网络中及其丰富的训练算法为设计高效的图像压缩编码系统提供了新的途径；(3) 大多数人工神经网络都具有相当强的模式识别与模式分类能力，这给图像编码方案中模式分类问题的解决提供了一个强有力的工具；(4)神经网络有较强的容错性和联想记忆功能，任何局部的损坏不会影响整体结果，这一特性有助于对有噪图像的数据压缩及
20、对压缩后信息不全图像的恢复；(5)神经网络的大规模并行处理能力及分布式结构，为神经网络图像编码的实时实现创造了条件，这也是将神经网络用于图像编码的优势所在。1.1.3 研究神经网络图像压缩方法的可行性神经网络(NeuralNetworks) 是人工神经网络的简称,神经网络的研究与应用也是当前的研究热点之一。目前,多个神经网络模型的理论基础、工作原理已经研究清楚,这样就可以更进一步研究它们在其它领域的应用,其中包括在图像压缩方面的应用。神经网络适于大规模并行处理和分布式存储,有良好的自适应性、自组织性和容错性,有很强的学习功能和联想记忆功能。因此,许多神经网络模型可以直接或间接地用于图像压缩。另
21、外,随着计算机硬件和软件技术的发展,神经网络的工作过程和图像压缩过程都可以用软件仿真的形式快速、方便地实现,这也为研究神经网络在图像压缩方面的应用提供了必需的实验基础。1.1.4 编码的分类目前，将人工神经网络理论与技术引入图像编码领域的研究工作十分活跃，发展相当快，基于人工神经网络模型的图像编码方法已涉足图像编码研究的很多方面，所使用的神经网络模型已有近十种，对现有的神经网络图像编码方法进行归纳、总结，有助于了解神经网络方法的发展方向，使已取得的成果系统化，使尚未解决的问题明确化。不少神经网络模型都有相当强的数据压缩能力，当然，有些神经网络模型不能提供直接的数据压缩，而是间接参与数据压缩。如
22、果以用于图像编码的神经网络模型为主线，对现有神经网络图像编码方法进行分类，一方面可了解哪些神经网络模型具有压缩能力，从而进一步挖掘潜力，另一方面可了解神经网络与图像压缩技术结合的途径，从而探讨其它模型的压缩能力，建立适合数据压缩的新的模型，在进行归类的过程中，将那些常用的或者重要的神经网络模型和学习算法分别作为一个独立的类别，而将那些很少使用或新近提出的神经网络模型划入其它类别，按此原则，目前用于图像编码的神经网络模型和学习算法主要有以下几类：（1）多层前馈神经网络，其学习算法为 BP 算法，所以又叫 BP 网络；（2）Kohonen 自组织神经网络，包括频率敏感竞争学习 (FSCL)网络，其
23、学习算法为自组织特征映射(SOFM)算法；（3）Hpfield 神经网络；（4）模拟退火 (SA)学习算法；（5）混合神经网络模型；（6）其它神经网络模型，包括 CPN，函数链神经网络， Sophia 联想神经网络(SANNET)，改进的 Hebbian 学习规则的系列应用 (SAMH)等。同样，按神经网络的应用领域来分，大致可分为以下几个方面：预测编码、变换编码、分块截尾编码与平面拟合编码、矢量量化编码、小波编码、混合编码。.1.1.4 课题研究的意义（1）课题的实际应用价值研究新的、更高效的图像压缩理论和方法其应用价值是不言而喻的。高质量、高效率的压缩技术意味着更好的图像视觉效果、更快的传
24、输率和更小的数据存储量,也意味着更大的商业价值。可以使医学图像更好的进行传输。（2）课题的理论意义1.图像压缩技术涉及数学、信息论、信号处理、计算机与通信、模式识别、人工智能等多个学科领域,其中数学是最基本和最重要的工具。首先,数学为数据的可压缩性提供了理论基础,即信息嫡理论和失真率理论;其次,数学为图像压缩技术提供了多种多样的理论依据和实现方法。可以这样说,图像的压缩过程从本质上说是对图像数据实现各种数学运算的过程。2. 神经网络是数学与其它许多学科交又的产物,其理论基础包括数学、物理学、统计力学、心理学、神经生理学等,其中数学的地位也是最重要的。现代意义上的神经网络研究始于数学证明,目前,
25、描述神经网络最重要的工具是数学模型,各种神经网络模型的学习规则、算法及收敛性、稳定性的证明等都必须依赖于数学方法。1.2 国内外研究现状1.2.1 数字图像压缩技术的发展与现状数字图像压缩简称图像压缩,有时又称为图像压缩编码或图像编码(一般在计算机领域称压缩,而在通信领域称编码,在论文中压缩与编码具有相同的含义),从对象上看分为静止图像压缩和运动图像压缩。静止图像压缩又可细分为二值图像(黑白)、灰度级图像及彩色图像的压缩。图像压缩研究始于1948年针对电视图像传输而提出的脉冲编码调制(PcM)原理。20世纪50和60年代进行的研究限于图像的帧内编码(如预测法)、子抽样/ 内插复原、图像的统计特
26、性和视觉特性等等。从20世纪60年代末开始,正交变换方法和其它方法被陆续提出,并对图像的帧间编码(即运动图像编码)做了初步探讨。1969年举行的首届“图像编码会议”表明图像压缩编码己作为一个相对独立的学科出现。1988年是图像压缩编码发展极为重要的一年,视频压缩标准H.261和静止图像压缩标准 JPEG的框架原理基本确定,分形和神经网络在图像压缩编码中取得重要进展,因此,1988年以前主要研究的压缩编码方法通常称为“ 经典方法”或“传统方法”,其后提出的具有重要发展前景的方法称为 “现代方法”。目前基于小波变换技术的新的静止图像压缩标准JPEG2000已经公布。常用的运动图像标准是MPEG一4
27、,最新的运动图像压缩标准是MPEG一7,尚处于研究过程中。随着应用要求的提高,传统压缩方法在压缩效率和压缩效果等方面己不能满足图像处理的需要,因此高质量、高效率的智能图像压缩算法成为了国际研究的重点和目标。研究的思路主要有两种,一是用新的精度更高的技术来实现已有压缩算法,二是寻求全新的图像压缩理论、算法和相应的实现技术。1.2.2 神经网络的发展与研究现状神经网络可以定义为“ 一个以有向图为拓扑结构的动态系统,它通过对连续或离散的输入作状态响应而进行信息处理”。对神经网络的研究主要集中在相关理论基础、网络结构、学习算法、训练过程、工作过程、收敛性、稳定性、功能及应用等方面。神经网络研究的背景工
28、作始于19世纪末20世纪初,源于对物理学、心理学和神经生理学的研究。现代意义即真正意义上的研究从20世纪40年代开始,研究人员开始用数学模型来描述神经网络。神经网络的应用始于50年代后期;在60 年代,由于缺乏新思想和用于实验的高性能计算机,研究兴趣发生过动摇;70年代的重要成果主要有 Kohonen自组织映射网络。.80年代以来,随着高性能计算机的发展,新的概念不断引入,多种具有影响力的模型(如HoPfield网络、CPN等) 和算法不断推出,神经网络的理论和应用都得到了快速的发展。过去10年里有成千上万的论文发表,目前,神经网络己成为强有力的数学和工程应用工具,其应用范围不断扩大,无论是科
29、研教学领域还是工业、农业及金融服务等行业,都能见到神经网络成功应用的范例。我国对神经网络的引入和研究较晚,开始于上世纪80年代末,因此在理论研究和应用方面都有一定的差距,特别是在新的模型、较复杂的模型方面研究较少。1.2.3 神经网络在图像压缩中的应用现状通过对目前神经网络在图像压缩中的应用模型和算法进行总结,可以把应用类型归纳为以下三种:（1）使用具有数据压缩特性的神经网络直接实现图像压缩。如用SoFM神经网络作为矢量量化器直接进行矢量量化图像压缩。（2）神经网络间接应用于压缩,即将神经网络与己有算法相结合,用在已有算法的某个局部阶段,用来实现其中的某些步骤。如用神经网络来实现正交变编码中的
30、正交变换操作。（3）神经网络实现已有图像压缩算法,即把一些先进的算法发展成学习算法并建立神经网络模型。如小波神经网络、分形神经网络及预测神经网络等。尽管神经网络在图像压缩方面具有明显的优势,有美好的前景,但目前还不能说神经网络就是实现图像压缩最好的、最有效的方法,需要进一步研究和解决的问题还很多。.第 2 章 图像压缩与神经网络简述2.1 几种典型的图像压缩编码技术目前已有40多种图像压缩编码算法面世。依据图像压缩编码的失真程度，可将其划分为两大类：即无损图像压缩编码算法和有损图像压缩编码算法。前者普遍存在压缩比过小的弱点故应用领域受到限制。后者是指原始图像不能由压缩数据完全恢复出来，恢复数据
31、只某种失真度下的近似。从数据质量来讲，有损图像压缩当然不如无损图像压缩好，但由于图像的最终使用者是人，并且人眼并不是一个完善的系统，对图像的某些失真并不敏感，所以有损压缩编码算法在图像通信系统及视频娱乐设备中得到广泛应用。而根据工作原理之差异，有损图像压缩编码算法又可分为预测压缩编码、变换压缩编码、向量量化压缩编码和分形压缩编码等几类。2.1.1 离散余弦变换压缩在所有的正交变换编码中DCT变换是仅次于KLT变换的次最优变换，其编码技术已经趋于成熟，因而得以广泛应用。目前已被定位国际标准的JPEG和MPEG技术。JPEG是ISO 和 CCITT联合制定的适用于连续色调、多级灰度、彩色单色静止图
32、像压缩的国际标准。JPEG 的核心是DCT编码技术。对静止图像的压缩推荐使用的方法是将图像先分割长城8X8大小的方块，然后再对其变换、量化和编码，并提供了符合人的视觉变化的量化表。编码方法主要利用Huffman编码及算数编码。MPEG标准是ISO的第11172号标准，包括MPEG视频、MPEG音频和MPEG 系统 3部分。MPEG是对运动图像的压缩主要采用帧内编码与帧间编码相结合的方法。帧内编码技术与JPEG相同，帧间编码采用运动补偿技术，即预测和内插两种方法。由于压缩原理上的局限性，使得该算法在大压缩比时出现明显的块状效应，但低倍时效果很好。由于DCT变换存储基本函数，必然影响压缩速度。且在
33、运算过程中存在舍入误差，从而也影响解压缩的精度。2.1.2 分形压缩分形压缩式利用分形几何中自相似的原理，首先对图像进行分块，然后再去寻找各块之间的相似性，这里相似性的描述主要是依靠仿射变换来确定，一旦找到了每块的仿射变换，于是就保存下这个仿射变换系数。由于每块的数据量远大于仿射变换的系数，因而是图像得到较好的压缩比。特别是对自然景物的压缩效果很好。分形的分辨率无关性使得解码后的分辨率与原始图像分辨率不同，使得放大后的图像自然，不失真。但是由于该压缩编码速度太慢，且随着被压缩图像的增大，运算量增长过快，运算复杂度较高，因此影响分形压缩编码进入实用阶段。而且压缩比通常在十倍左右，远未达到Barn
34、sley给出的压缩性能。恢复图像中仍然有较为严重的方块效应。另外，对于特定的图像要选择相应的仿射变换域概率数，且要满足IFS码的要求是很难做到的，这也就限制了它的通用性。造成传统分形编码上述缺点的原因有：没有考虑图像内容和含义，只进行盲目的方块分割，从而导致了较高压缩比时出现严重的方块效应；人眼视觉系统没有充分考虑。2.1.3 小波变换压缩小波变换是继离散余弦变换后的有一种被变换编码技术。对图像压缩类似于离散余弦变换。但是小波变换是对整幅图像进行变换，在量化技术上主要依据变换后各级分辨率之间的自相似的特点，采用逐级逼近技术达到减少数据存储的目的，小波变换在时域和频域都具有良好的局部化特性，它能
35、将图像分解成交织在一起的多种尺度成分，并对不同的尺度成分采用对应粗细的时域或空域取样步长，对高频信号采用细处理，对低频信号采用粗处理，因此可以不断聚焦到对象的任意微小细节，这使得小波变换由于傅里叶变换和盖博变换。小波变换的良好特性与Mallat算法的简便易行，使得.小波变换成为图像编码领域里的一个主要研究对象。用小波变换技术实现对图像视频及声音的压缩可以取得较好的压缩效果。美国休斯敦高级研究中心的基于小波变换的压缩技术HARC-C，表现出较好的压缩与解压效果。小波应用有图像压缩编码，使得图像压缩比高，压缩速度快。但是对于一般的小波变换编码，恢复的图像有较强的边界效应。这里存在的主要问题是最佳小
36、波基函数的选取、人眼视觉特性的应用以及变换系数的有效组织等。小波变换技术目前正处于研究阶段，在压缩比、压缩与解压速度等方面还没有形成一致的标准，距实用阶段仍有相当的距离。2.2 图像压缩编码的性能指标图像质量评价是对图像压缩与处理系统优劣的检验。图像压缩的目的就是在于保证所要求图像质量的前提下尽可能地压缩数码率，已节省信道容量和存储空间。虽然图像质量评价与人的视觉心理有关，但是找一个合理的图像评价方法还是很重要的。后图像的误差来度量的，后者则取决于人的主观感觉。一般地，允许图像压缩后装在恢复的图像具有一定的误差，因此需要某种准则来评价压缩后图像的质量。保真度准则就不是这样一种压缩后图像质量评价
37、的标准。保真度准则有两种：客观保真度准则和主观保真度准则。前者是以压缩前2.2.1 客观保真度准则客观保真度准则指原始图像和压缩后图像之间的均方误差或压缩后恢复图像的信噪比或峰值信噪比。对于灰度图像，设原图像为 g ( x,y)，压缩后恢复图像为 f ( x,y)，且图像尺寸为 MN,A 为 f ( x,y)中的最大值。则均方误差为:(2-1)120(,),)MNxySEfxy归一化均方误差为：(2-2)1200(,)(,),NxyMxygfS信噪比定义为：(2-3)210logsdSNRB在上式中， 是原始图像的方差， 是失真图像的方差。失真图像定义为原始2s2图像和恢复图像的差。(2-4)
38、(,)(,)(,)exyfxy(2-5)12 20MNsxyg(2-6)12 20(,)(,)dxyfxy峰值信噪比PSNR定义为：(2-7)210logdAPSNRB.2.2.2 主管保真度如果被处理的图像最终是为了让人进行观察，如电视图像，那么用人的视觉来评价图像的质量就更加有意义。事实上，具有相同客观保真度的不同图像，在人的视觉中可能引起不同的视觉效果。这是因为客观保真度准则是一种统计平均意义下的度量准则对于图像中的细枝末节它是无法反映出来的，而且人的视觉系统还有许多特殊的性质，例如对光强敏感的对数特性，使得图像暗区的误差比其亮区误差影响更为重要。又如人的视觉系统对灰度突变的特别敏感性，
39、使得发生于图像边缘轮廓附近的误差比发生于一般背景下的误差对图像质量有着更坏的影响等等。所有这些可能引起视觉明显差异的因素，用客观保真度准则往往是无法表示出来的。因此，根据人的主观感觉来评价图像就十分必要了。2.2.3 压缩比图像的数字编码，其实质是在一定质量(信噪比要求或主观评价得分)条件下，以最少比特数来表示( 传输) 一幅图像。为了比较各种压缩编码效率，需定义表示其压缩效率的压缩比，通用的压缩比可定义为:(2-8)1(,),MNbxyrcxyijC其中 为原图像每象素使用的比特数， 为压缩后平均每象素使用的比特数，上br式给出了原信息率和压缩后信息率之间的关系。2.3 神经网络模型及应用2
40、.3.1 常用神经网络模型（1）人工神经元模型神经网络的主要组成单位是神经元,神经元是一个多输入单输出的信息处理单元,它对信息的处理可以是线性的也可以是非线性的。根据神经元的特性和功能,可以把神经元抽象为一个简单的数学模型,如图所示。图中 ， ， 是神经元的输入1P2RP是连接第i个输入节点与神经元的权值,b是神经元的偏置输入,神经元的净输入为1.W(2-9)1.1.2.Rnwpwpb写成矩阵形式为(2-10)Wb其中 (2-11)121.(,)R(2-12)Tpp神经元的输出为(2-13)()afb其中函数f称为激励函数或传输函数,它可以线性的也可以是非线性的。许多神经网络具有很强的学习功能
41、,其学习过程一般是根据某种学习算法对神经元之间的权值进行调整而实现的。（2）常用神经网络模型可以从不同的角度对人工神经网络分类,以下是根据神经网络结构特征所作的简单.分类:1. 前向传播神经网络:感知器、 BP网络、线性神经网络、径向基网络和GMDH网络、小脑模型(CMAC)、协同神经网络等;2. 反馈传播神经网络:Elman网络、H叩field 网络、CG网络、双向联想记忆(BAM)模型、盒中脑(BSB)模型、回归BP 网络、Boltzmann机等。3. 争型网络:Hamming网络、学习矢量量化网络、自组织竞争网络、ART网络、CPN等。2.3.2 神经网络的图像压缩机理和优势神经网络在图
42、像处理中应用广泛,几乎涉及到图像处理的每个方面,如图像分割、图像增强、图像模式识别、图像复原及图像压缩等。几乎每一种神经网络都可以直接或间接地用于图像压缩,应用的范围包括前面己经提到的各种有损编码方法或这些方法中的某些关键步骤。（1）数学理论上说,压缩编码问题可以归纳为映射和最优化问题,映射可以是线性的,也可以是非线性的。例如,预测编码实际上就是多到一的映射,如果预测器的数学模型为非线性的,则映射也是非线性的。实际上,不少神经网络模型(如BP、CPN 等)完成的恰好是一种由输入空间到输出空间的数学映射。己经证明,三层和三层以上的的BP 网络能以任意精度逼近任何线性或非线性映射,由于图像压缩编码
43、和神经网络在数学本质上的这种同构,决定了神经网络在图象压缩编码领域必然有广泛的应用。（2）一些优化类神经网络,如Hfield、Boltzman 机在组合优化问题中己经充分展示了它们的魅力,通过把图像压缩问题或其中的局部问题转换成相应的优化问题,这些神经网络就可以直接或间接地应用于图像压缩编码。（3）神经网络的发展与模式识别密切相关,20世纪80年代,神经网络的研究首先在模式识别和模式分类领域取得巨大成功,给模式识别的理论、方法及人工智能的发展以很大的冲击,这主要是由于大多数的神经网络模型都有相当强的模式识别和模式分类能力。这种模式识别和模式分类能力也给图像编码方案中模式分类问题的解决提供了强有
44、力的工具,例如,矢量量化编码就是一个典型的模式分类问题,用竞争性神经网络算法可以方便、有效地实现。（4）神经网络有较强的容错性和联想记忆功能,任何局部的损坏都不会影响整体结果,这一特性有助于对有噪图像的压缩。目前,比较典型神经网络压缩模型有BP网络1141、自组织特征映射 (soFM)网络、主分量分析神经网络等。此外,其它一些神经网络模型如径向基函数网络、Boltzman机、双向联想记忆(BAM)网络、ART等都在图像压缩中有成功应用的例子。神经网络模型与其它的一些方法相结合也相当广泛,如神经网络与模拟退火算法结合、神经网络与小波分析结合、神经网络与分形结合、神经网络与模糊理论结合等。另外,有
45、一些新的神经网络模型如协同神经网络,在图像压缩中的研究和应用还有待研究。.第 3 章 基于标准 BP 神经网络的图像压缩1986 年，Rumelhart和McCellan领导的科学家小组在Parallel DistributedProcessing一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播（ErrorBack Proragation，简称 BP）算法进行了详尽的分析，实现了 Minsky 关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常将多层前馈网络直接称为 BP 网络。3.1 BP 算法的基本思想BP 算法的基本思想是，学习过程由信号的正向传播与
46、误差的反向传播两个过程组成。（1）工作信号正向传播：输入信号从输入层经隐层传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。（2）误差信号反向传播：网络的实际输出与期望输出之间的差值即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。工作信号误差信号图 3-1 工作信号正向传播，误差信号反向传播这种信号正向传播与误差
47、反向传播的各层权值调整过程，是周而复始进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。其中反向传播有两种学习过程，这是因为在求导运算中假定所有的误差函数的导数是所有模式的导数和，因此权重的改变有两种方式: 一种是对提供的所有模式 的导数求和，再改变权重，这是训练期(Epoch) 学习方式，这种学习方式可以保证其误差和向减小的方向变化，适用于样本数多的情况;另一种是在计算每个模式的导数后，改变权重并求导数和，这就是模式 (Pattern )学习方式，这种方式适用于模式数可能很大的情况。3.2 BP 算法研究3
48、.2.1 常用传输函数.（1）非线性函数对数-s型函数对数 S型(logsig)传输函数如图 3.3 所示。该函数的输入在(-,+)之间取值，输出则在0到1之间，其数学表达式为： ，从某种程度上可以说，正是由于对数-1naeS 型函数是可微的，所以用于反传(BP)算法训练的多层网络才采用了该传输函数。(2)线性函数线性传输函数的表达式为： a =n（3）双曲正切函数双曲正切函数的表达式为: ，其函数形状与Sigmoid 函数相同，1tnh()xey不过它关于原点对称，输出范围为-1,1。3.2.2 新的传输函数有双极性 S 型压缩函数、一阶导数为 的周期函数族以及自适sec()1,2.)nxn应多项式激活函数等。标准 S 型函数的导数在 0.0 到 0.25 之间，误差信号的最大值也只是 0.25，新的激活函数的工作范围、导数的大小和范围都大于标准 S型函数，其性能必然优秀。周期函数己经被定量地证明其收敛速度比S 型函数快。自适应多项式的神经网络在学习和应用阶段的维数和计算复杂性都比使用 S 型激活函数的多层感知器要简单。下表为 n=16 的新激活函数及其一阶导数:表 3-1 n=16的新的激活函数及其一阶导数新的传输函数 一阶导数1 112()ta
