1、3.9 信源和信道的匹配,对于某一信道其信道容量是一定的。而且只有当输入符号的概率分布满足一定条件时才能达到信道容量C。这就是说只有一定的信源才能使某一信息传输率达到最大。,并未达到最大。这样，信道的信息传输率还有提高的可能，即信道没有得到充分利用。,信道剩余度,其中C是该信道的信道容量， 是信源通过该信道实际传输的平均信息量。,一般信源与信道连接时，其信息传输率,否则认为信道有剩余。信道剩余度定义为,当信源与信道连接时，若信息传输率达到信道容量，我们则称此信源与信道达到匹配。,信道相对剩余（冗余）度,对于无干扰（无损）信道：,I(X;Y)=H(X), max I(X;Y)=max H(X)=
2、log r,则,无损信道的相对剩余度,提高无损信道信息传输率的研究就等于减少信源剩余度的研究。对于无损信道，可以通过信源编码，减少信源的剩余度，使信息传输率达到信道容量。,一般通信系统中，信源发出的消息（符号）必须转换成适合信道传输的符号（信号）来传输。对于离散无损信道，如何进行转换，才能使信道的信息传输率达到信道容量，达到信源与信道匹配？,可求得，二元离散信道的信道容量为C=1(比特/符号)。此信源的信息熵H(S)=1.937(比特/符号)。对信源S进行二元编码，才能使信源符号在此二元信道中传输。,例如 离散无记忆信源,通过一无噪无损二元离散信道进行传输。,进行二元编码的结果可有许多种，若有,对于码C1，可得信道的信息传输率,（比特/信道符号）,对于码C2，,（比特/信道符号）,R2 R1 C，信道有剩余。,是否存在一种信源编码，使信道的信息传输率R接近或等于信道容量？是否存在一种编码，使每个信源符号所需的二元符号最少？这就是香农无失真信源编码理论，也就是无失真数据压缩理论。,无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息（符号）来传输，而使新信源的符号接近等概分布，新信源的熵接近最大熵Logr，这样，信道传输的信息量达到最大，信道剩余度接近于零，使信源和信道达到匹配，信道得到充分利用。关于这一内容将在下一章中详细讨论。,
