1、 信息论与编码理论Theories of Information and Coding第一章 介绍Chapter 1 Introduction信息论 information theory编码理论 coding theory发出 emit字节 bit二进制 binary二进制对称源 binary symmetric source二进制对称信道 binary symmetric channel原始字节错误率 raw bit error probability编码 encode字节错误率 bit error probability噪音 noise冗余 redundant相互校验 cross chec
2、k编码算法 codding algorithm错误模式 error pattern综合 synthesis汉明码 Hamming code单独错误校正码 single-error-correcting code速率 rate二进制熵函数 binary entropy function能量 capacity信道编码理论 channel coding theory第二章 信息理论Chapter 2 Information Theory比特 bits (binary digits)自然码 natural digits熵函数 entropy function可能向量 probability vecto
3、r条件熵 conditional entropy离散记忆信道 discrete memory channel过渡可能性 transition probability产出 output边际分布 marginal distritution互信息 mutual information启发式 heuristic联合熵 joint entropy维恩图 Venn diagram马尔可夫链 Markov chain限定函数 definite function串联 tandem数据过程配置 data-processing configuration凸组合 convex combination操作 manip
4、ulation速记法 shorthand通信系统 communication system连续信息输出 continuous source outputs编码员 coder映射 map目标 destination数据过程定理 data-processing theorem离散量化 discrete quantization改进/精炼 refinement密度 density中值定理 mean value theorem表面相似 superficial resemblance网格 mesh微分熵 differential entropy琴生不等式 Jensen inequality确定信道 de
5、terminate channel信息论与编码理论中的英文单词和短语第三章 离散无记忆信道和容量成本方程Chapter 3 Discrete Memory less Channels and their Capacity-Cost Equations输入符号系统 input sign system输出符号系统 output sign system想象 imagine无记忆假设 memoryless assumption平均成本 average cost容量成本方程 capacity-cost equation验证源头 test-sourcen 维容许验证源头n-dimensional admi
6、ssible test sources容许成本 admissible costr 对称 r-symmetry系统比率 rate of system超过信道容量率 rates above channel capacity长 length每个符号的比特 bits per symbol编码规则 decoding rule区别代码 distinct code指示函数 indicator function随机编码 random coding期望值 expected value弱大数定律 weak law of large numbers编码范围 decoding sphere第四章 离散无记忆信源和扭曲
7、率方程Chapter 4 Discrete Memoryless Sources and their Rate-Distortion Equations源字母表 source alphabet离散无记忆信源 discrete memoryless sources统计源 source statistics目标符号 object sign扭曲 distortion扭曲度 distortion measure平均扭曲 average distortion测试通道 test channel扭曲率 distortion rate源编码定理 source coding theorem向后测试通道 back
8、wards test channel哈莫名扭曲度 Hamming distortion measure错误扭曲率 error probability distortion rate数据压缩定理 data-compression theorem目的符号 destination symbols数据压缩系统 data compression scheme罚函数 penalty function无限制和 unrestricted sum内部和 inner sum第五章 高斯信道和信源Chapter 5 Gaussian Channel and Source伏特 voltage传送 transmit信号
9、 signal瓦 watts耗散 dissipate焦耳 joule白高斯噪声过程 white Gaussian noise process噪声错误密度 noise spectral density带宽 bandwidth波段限制 band-limited功率限制 power-limited第 n 项容量成本函数n-th capacity-cost function平方错误 squared-error总的容量成本函数噪声密度overall capacity-cost function oink density算术-几何均值 arithmetic-geometric average value离
10、散时间无记忆高斯信源discrete-time memoryless Gaussian source均值平方错误标准mean-squared error criterion高斯分布 gaussion distribution高斯信源每个符号均值平方扭曲Gaussian source per-symbol per-symbol mean-squared distortion第六章 信源-信道编码理论Chapter 6 Source-Channel Coding Theory信息源 information source噪声源 noisy source数据处理 data processing量子化
11、quantization调节 modulation连续块 successive block发出信道输出符号emit channel output symbols一对一通信 one-to-one correspondence实验来源 test source信源序列 source sequence目的序列 destination sequence信源统计 source statistics传送率 rate of transmission冲突 conflict信源-信道编码理论source-channel coding theorem数据传输定理 data-processing theorem中间向
12、量 intermediate vector最坏扭曲 worst-case distortion每个符号基础 per-symbol basis分解 decomposition传送编码 transmitted coding负担 afford交易 tradeoff可实现区域 realizable region观点 standpoint第七章 第一部分访问先进标题Chapter 7 Survey of Advanced Topics for Part One孪生珍珠 twin pearls有限阿贝尔交换群finite Abelian commutative group各态经历随机过程ergodic r
13、andom process熵 entropy添加各态噪音信道additive ergodic noise channel渐进线均分性质 asymptotic average property高斯过程 Gaussian process多终端信道 multiterminal channel反馈 feedback发送人 seeder接受人 receiver多通道信道 multi-access channel擦掉符号 erasure symbol矛盾 contradiction比率 rate广播信道 broadcast channel容量区域 capacity region高对称度 high degr
14、ee of symmetry测试信源 test sources输入符号信道 input signal channel全局最大 global maximum添加各态噪音 additive ergodic noise信道的可靠性阐述reliability exponent of channel关键率 critical rate线性码 linear code时间改变卷积码 time-varying convolutional编码-信道 -译码 encoder-channel-decoder外部信道 outer channel内部编码 inner code外部编码 outer code弱颠倒 weak
15、 converse强颠倒 strong converse术语 term传输率 rate of transmission错误指数 error exponent强近似 strong similarity选择两重性 rather duality扭曲率理论 distortion rate theory源编码法 source coding method单字母扭曲度量 single-letter distortion measure含义 implication轮廓 configuration错误可能性 error probability半平面界 half-plane bound接待 reception离散
16、时间稳定高斯信源discrete-time stable稳定高斯序列 stable Gaussian sequence谱密度 spectral density树码 tree codes第八章 线性码Chapter 8 Linear codes实际观点 practical standpoint生成矩阵 generator matrix行空间 row space奇偶校验矩阵 parity-check matrix规范形式 canonical form错误模式 error pattern傍系 coset对称信道 symmetric channel汉明权 Hamming wight表格查验 table
17、 lookup标准排列 standard array强调 italicized度量空间 metric space汉明距离 Hamming distance穿过 interect最小权重 minimum weight单错误校正 single-error-correcting完全码 perfect codes重复码 repetition codes二进制汉明码 binary Hamming codes检测 detect电子校验 e-correctingF-检测 H-detecting类似校验矩阵 parity-check matrix双错误检测 double-error-detecting权重计数
18、器 weight enumerator同态 homomorphism趋于增加组 multiplicative group不确定 indeterminate 第九章 循环码Chapter 9 Cyclic Codes突发性错误 burst errors表面无害定理 definition of innocuous-appearing循环位移 cyclic shift一般循环 trivial cyclic无信息码 no-information code单等价校验码 single-parity-check code无等价码 no-equivalent code右循环位移 right cyclic sh
19、ift母函数 generating function生成多项式 generator polynomial互惠的 reciprocal循环性质 cyclic property分解 decomposition传送编码 transmitted codeword转换登记编码 shift-register encoder突变加法器 flip-flops adders常数乘法器 constant multipliers延迟 delay脉冲响应 impulse response状态向量 state vector状态多项式 state polynomial输入流 input stream反顺序 reverse
20、 order线性递归 linear recursion最右面的突变 rightmost flip-flop模 2 加法器 mod-2 adder循环 cyclic二域 two-field原始多项式 primitive polynomial译码循环 decoding cycle循环旅程 circular journey低位移寄存器 lower shift register突发错误校正 burst-error-correcting模式 pattern突发描述 burst description位置 location含糊不清 ambiguity零操作 zero run突发错误校正码 burst-er
21、ror correcting code阿布拉门逊界 Abramson bounds严格阿布拉门逊界strict Abramson bound弱阿布拉门逊界 weak Abramson boundReiger 界 Reiger bound松散 loose阿布拉门逊码 Abramson code交错 interleavingDe 交错 De-interleaving3 度交错 depth-3 interleaving交错操作 interleaving operation复杂算法 elaborate algorithm法尔码 Fire code法尔结构 Fire construction爆发阻塞算法
22、 burst-trapping algorithm爆发错误校正编码burst-error-correcting code左对齐 left-justified陷阱，阻塞 trap爆发错误模式 burst-error pattern米戈蒂引理 Meggitt lemma切换显示 shift-register环路 circuit最左面的突变 leftmost flip-flop y第十章 香农码和相关的码Chapter 10 Shannon Codes and Related Codes香农码 Shannon code范德蒙德行列式理论Vandermonde determinant theory初始
23、相同检验矩阵original parity-check matrix最小多项式 minimal polynomial关键方程 key equation离散傅里叶变换 discrete Fourier transform时间领域 time-domain频数领域 frequency-domain细致 subtlety时间转换 time shift相位转换 phase shift支撑集合 support set评估多项式 evaluator polynomial规范派生 formal derivative频数主导递归 frequency-domain recursion下标 subscript定位多
24、项式 locator polynomial错误模式 error pattern扭曲错误模式 twisted error pattern复原模 reduced mode错误定位 error location错误评估多项式 error-evaluator polynomial欧几里得算法 Euclid algorithm份额 quotient促进 facilitate时间主导方法 time-domain approach错误定位器 error-locator试错法 trial and error伪码片段 pseudocode fragment递归 recursion反常 abnormal复杂理论
25、elaborate theory多倍错误校正线性码multiple-error-correcting linear code代码字符 code character最大距离可分码 maximum-distance separable codes插值法性质 interpolation property信息集合 information set插值算法 interpolation algorithm递归结束 recursive completion伪码 pseudocode 连锁码 concatenated coding爆发错误校正 burst-error-correction描述 depict非因子
26、 unfactor缺陷 flaw擦掉符号 erasure symbol传递符号 transmitted symbol扩大 enlarge最小距离译码 minimum-distance decoding擦除集合 erasure set擦除位置多项式 erasure-location polynomial错误擦除位置多项式errors and erasures-locator-polynomial错误擦除评估多项式errors-and-erasures-evaluator polynomial修正综合多项式 modified syndrome polynomial多项式乘法 polynomial
27、multiplication频数域 frequency-domain戈莱码 Golay code扩展戈莱码 extended Golay code字节工具 byte implementation表环 table loop第十一章 卷积码Chapter 11 Convolution Codes矩阵多项式 matrix polynomial转移登记方法 shift-register approach纯量矩阵 scalar matrix状态图方法 state-diagram approach记忆，内存 memory约束长度 constraint lengthk 管 k-tude第 L 截平面 L-t
28、h section状态图 state-diagram轨道，足迹 track格子图 trellis diagram幸存者 survivors维特比译码算法 Viterbi decoding algorithm路权重数 path weight enumerator复杂表 elaborate labels完全路径数 complete path enumerator错误时间 error events最早错误可能性 first error probability比特错误可能性 bit error probability自由距离 free distance连续译码算法 sequential decoding algorithm树形图 tree diagram二进制树 binary tree分枝 bifurcation抛弃 abandoned栈算法 stack algorithm法诺算法 Fano algorithm差异长度 different lengths流程图 flowchart第十二章 变量长度源编码Chapter 12 Variable-length Source Coding变量长度源编码法method of variable-length source codingk 长度串 string of length k空字符串 empty string子串 substring
