使用方式
面试回答优先采用“先定义—给关系式—解释物理意义—补充适用条件—联系工程”的顺序。计算题不要求机械复现试卷步骤，应能说清每一步为什么这样做。
一、概论与自信息
1. 信息、消息和信号有什么区别与联系？
问题意图：检查能否从抽象概念落到通信系统模型。
30 秒回答：信息是被传递的内容或知识，消息是信息的载体或一次具体表达，信号是适合在信道中传播的物理量。一个信息可以用不同消息和信号表示，同一信号在不同语境下也可能承载不同信息。
展开逻辑：发送端把信息组织成消息，再映射为电、光或电磁信号；接收端反向恢复。编码、调制解决的是表示和传输问题，不改变信息本身的语义。
常见追问：数字比特流属于信息、消息还是信号？
易错点：把信号直接等同于信息；忽略信号必须满足带宽、功率和物理可传输条件。
2. 通信系统通常追求哪些目标？
问题意图：考查有效性、可靠性和安全性的系统视角。
30 秒回答：有效性是单位时间、单位资源传输更多有效信息；可靠性是尽可能正确地恢复信息；安全性是防止未授权获取或篡改。三者需要在速率、功耗、复杂度、时延和成本之间权衡。
展开逻辑：信源编码主要改善有效性，信道编码主要改善可靠性，加密和认证主要改善安全性，但实际系统常把它们联合设计。
常见追问：为什么不能只追求最高码率？
易错点：把有效性理解成“发射功率越大越好”，或把可靠性和保密性当作同一指标。
3. 什么是自信息量？为什么定义为负对数？
问题意图：考查公式和可加性来源。
30 秒回答：事件 x 的自信息量是 ，单位为 bit。概率越小，事件越不确定，发生后带来的信息越多；独立事件同时发生时概率相乘，负对数把乘法变成加法，因此联合信息量可相加。
展开逻辑：该定义满足单调性、可加性和连续性等要求。若使用自然对数，单位是 nat；换底只会改变单位尺度。
常见追问：必然事件和不可能事件的自信息量分别是多少？
易错点：漏掉负号；把概率大的事件说成信息量大；忽略 时是极限意义上的无穷大。
4. 如何理解联合自信息和条件自信息？
问题意图：判断能否把贝叶斯关系用于解释信息增量。
30 秒回答：联合自信息 ，表示两个事件同时发生带来的信息；条件自信息 ，表示已知 y 后 x 仍带来的新增信息。它们满足 。
展开逻辑：当 y 已经强烈暗示 x 时，p(x|y) 较大，条件信息量会比 I(x) 小；若 x、y 独立，条件信息量退化为自信息量。
常见追问：条件自信息量是否一定不大于自信息量？
易错点：把逐事件的条件信息量与平均条件熵混为一谈；只有平均意义下才有明确的不增关系。
5. 什么是信息率，和符号率有什么区别？
问题意图：检查单位和速率概念。
30 秒回答：信息率是单位时间产生或传输的信息量，常用 bit/s；符号率是单位时间发送的码元数，单位为 baud。若每个码元有 M 种等概率取值，理想情况下每码元携带 log₂M bit，因此信息率约为符号率乘以每码元比特数。
展开逻辑：编码、调制和脉冲成形会改变两种速率之间的关系；不能把 bit/s 和 baud 直接当作同一个量。
常见追问：高阶调制为什么能提高比特率却不一定提高符号率？
易错点：把 baud 写成 bit/s；忽略编码冗余会使有效信息率低于原始比特率。
6. 信源的冗余从哪里来？如何利用？
问题意图：引出信源编码的必要性。
30 秒回答：冗余主要来自符号概率不均匀和符号之间的相关性。信源编码利用统计规律，把高概率符号映射为短码、低概率符号映射为长码，或对符号序列联合编码，从而降低平均码长。
展开逻辑：独立同分布信源可先做单符号编码，有记忆信源还需建模上下文、扩展信源或使用算术编码。压缩不能突破熵给出的平均极限。
常见追问：为什么随机噪声通常难以压缩？
易错点：认为所有重复数据都能无损压缩；把去除冗余和删除有用信息混为一谈。
二、熵、联合熵、条件熵与互信息
7. 熵的定义和物理意义是什么？
问题意图：考查最核心的平均不确定性概念。
30 秒回答：离散随机变量 X 的熵为 ，单位是 bit/符号。它既是自信息量的数学期望，也刻画观察 X 之前的不确定性或平均信息量。
展开逻辑：熵只由概率分布决定；确定分布熵为 0，n 个等概率符号时达到 log₂n。它是平均量，不代表每一个符号都携带相同信息。
常见追问：熵是否等于实际压缩后的平均码长？
易错点：把熵理解成某个事件的信息量；忽略对数底和单位。
8. 熵有哪些基本性质？
问题意图：检查是否掌握定性判断而非只会代公式。
30 秒回答：离散熵非负、对称、连续；概率分布固定时，等概率分布熵最大；确定性分布熵最小为 0。熵对概率分布是凹函数，混合分布通常会增加不确定性。
展开逻辑：这些性质支持最大熵建模和编码下界推导。连续变量的微分熵不完全继承离散熵的所有性质，甚至可以为负。
常见追问：为什么连续熵不能直接当作“可能值个数的对数”？
易错点：把“凹函数”说成凸函数；把连续微分熵与离散熵的非负性混用。
9. 联合熵、条件熵和互信息如何相互联系？
问题意图：考查链式法则和信息分解。
30 秒回答：；互信息 I(X;。它表示知道一个变量后对另一个变量不确定性的平均减少量。
展开逻辑：联合熵描述二者整体不确定性，条件熵描述剩余不确定性，互信息是二者共享的统计信息。互信息对称且非负。
常见追问：什么时候 I(X;？
易错点：把 I(X;Y) 写成 H(X|Y)−H(X)；误以为互信息可以为负。
10. 如何从联合概率表计算 H(X)、H(Y)、H(X,Y) 和 I(X;Y)？
问题意图：考查面试中的计算组织能力。
30 秒回答：先对联合概率求行和、列和得到边缘分布，再分别代入四个定义；最稳妥的关系是 I(X;。最后检查概率和为 1、互信息非负。
展开逻辑：可先算 H(X,Y) 与两个边缘熵，再用 ，避免重复计算条件概率。
常见追问：表中有零概率项怎么处理？
易错点：把联合概率误当边缘概率；遗漏 0log0 按极限取 0。
11. 独立性与互信息为零是什么关系？
问题意图：辨析概率独立和统计相关。
30 秒回答：X 与 Y 独立当且仅当 ，等价于 I(X;。互信息为零说明没有统计依赖，不只是线性相关为零。
展开逻辑：不相关只约束协方差，非线性依赖仍可能存在；互信息能捕捉更一般的依赖关系。
常见追问：协方差为零能否推出互信息为零？
易错点：把“不相关”与“独立”当作同义词；忽略联合分布定义域。
12. 条件熵为什么满足 ？
问题意图：理解观测信息不会增加平均不确定性。
30 秒回答：已知 Y 后，X 的不确定性只能保持或减少，因此 。等号当且仅当 X、Y 独立；差值正是互信息 I(X;Y)。
展开逻辑：这是熵的基本不等式，可由互信息非负或 log-sum 不等式证明。它是平均意义上的结论，单个样本的条件自信息可能反而增大。
常见追问：为什么某次观测会让你更困惑？
易错点：把逐样本信息量的比较当成熵不等式；忘记“平均”二字。
13. 数据处理不等式说明什么？
问题意图：考查信息在处理链中的单调性。
30 秒回答：若 X→Y→Z 构成马尔可夫链，则 I(X;;Y)。后续处理只能保留或丢失关于 X 的信息，不能凭空增加来自 X 的新信息。
展开逻辑：量化、特征提取、压缩和分类都可看作数据处理；若处理是无损可逆的，互信息可以保持。
常见追问：机器学习中的降维为什么可能损失判别信息？
易错点：把不等式说成熵必然单调；忽略马尔可夫条件。
14. 熵的链式法则如何推广到多个变量？
问题意图：检查能否进行多变量分解。
30 秒回答：H(X₁,…,…,Xᵢ₋₁)。它把联合不确定性拆成逐步揭示变量时的新增不确定性，变量顺序可以改变每一项但总和不变。
展开逻辑：在序列建模中，条件项对应上下文预测难度；上下文越丰富，条件熵通常越低。
常见追问：如何用它解释语言模型的困惑度？
易错点：误写成各变量无条件熵之和；把某一项条件熵当成整个序列熵。
15. 熵函数为什么是凹函数？工程上有什么用？
问题意图：考查不等式的直观理解。
30 秒回答：熵对概率分布是凹函数，混合两种分布的熵不小于先分别取熵再按比例平均。工程上可用于证明等概率分布最大熵、比较不确定性和优化输入分布。
展开逻辑：凹性意味着局部扰动会使接近均匀的分布熵上升，是很多容量优化问题的基础。
常见追问：最大熵结论需要什么约束？
易错点：不说明约束就说“任何情况下均匀分布最好”；混淆凹函数与凸函数。
16. 相对熵（KL 散度）与互信息有什么关系？
问题意图：连接概率分布比较与相关性度量。
30 秒回答：衡量 P 与 Q 的差异，非负但不对称。互信息等于联合分布 P(X,Y) 与乘积分布 P(X)P(Y) 的 KL 散度，因此互信息为非负。
展开逻辑：KL 散度不是严格距离；在模型拟合、假设检验和信道容量优化中常用。
常见追问：为什么 KL 散度不满足对称性？
易错点：把 KL 散度当作欧氏距离；交换 P、Q 后仍认为数值不变。
三、信源与随机过程
17. 离散无记忆信源（DMS）的定义是什么？
问题意图：确认扩展信源计算的前提。
30 秒回答：DMS 每次输出的符号来自同一概率分布，且不同时间的输出相互独立。因此长度 N 的序列概率是各符号概率的乘积，序列熵是单符号熵的 N 倍。
展开逻辑：独立性让编码和容量分析可按符号平均；真实语音、图像往往有记忆，需要建模相关性。
常见追问：为什么扩展信源的符号数会指数增长？
易错点：把“同分布”误当成“独立”；忘记 N 次扩展的单位变成 bit/序列。
18. N 次扩展信源的熵如何计算？
问题意图：考查无记忆性和单位换算。
30 秒回答：对 DMS，H(Xⁿ)=N H(X)，平均每个原始符号的熵仍是 H(X)。扩展后可用更长的码字逼近熵界，但计算和存储复杂度会增加。
展开逻辑：若信源有记忆，H(Xⁿ)一般小于 N H(X)，差值体现相关性带来的可压缩冗余。
常见追问：为什么扩展编码能提高效率？
易错点：把 H(Xⁿ) 写成 H(X)ⁿ；忽略平均码长要按序列长度归一化。
19. 平稳信源和遍历信源有什么区别？
问题意图：考查随机过程的统计与时间平均概念。
30 秒回答：平稳信源的统计分布对时间平移不变；遍历信源还要求足够长的一条样本序列的时间平均能代表总体统计平均。遍历性使工程上可以用一次长观测估计概率。
展开逻辑：平稳不必然遍历；设计压缩器时要先判断训练数据是否能代表部署场景。
常见追问：语音在长时间尺度上是否严格平稳？
易错点：把平稳与“每个样本不变”混淆；把遍历理解为状态必然循环一次。
20. 一阶马尔可夫信源的核心假设是什么？
问题意图：判断是否理解有限记忆建模。
30 秒回答：一阶马尔可夫假设是给定当前符号后，下一符号与更早历史条件独立，即 p(xₙ₊₁|xₙ,…)=p(xₙ₊₁|xₙ)。它用转移概率矩阵描述相邻符号相关性。
展开逻辑：阶数越高表达能力越强，但参数量和估计数据需求也会增长。
常见追问：如何从数据估计转移矩阵？
易错点：把马尔可夫性误解为符号独立；转移矩阵行列方向不先约定。
21. 如何求马尔可夫信源的稳态分布？
问题意图：考查矩阵方程和归一化。
30 秒回答：稳态分布 π 满足 且 。解线性方程即可得到长期状态占比；若链不可约且非周期，迭代分布会收敛到该稳态。
展开逻辑：稳态分布与初始分布无关，但前提是链具有遍历性。得到 π 后可计算长期平均熵率。
常见追问：周期链为什么可能不收敛但仍有稳态分布？
易错点：把 与 混用；漏写归一化条件。
22. 马尔可夫信源的熵率如何表示？
问题意图：把条件熵与状态转移联系起来。
30 秒回答：对一阶平稳马尔可夫信源，熵率为 H∞=H(Xₙ₊₊。它是长期平均每个符号的新信息量。
展开逻辑：通常 H∞≤H(Xₙ)，相关性越强，条件熵越低，剩余度越高。
常见追问：为什么 H₂ 不一定等于 2H₁？
易错点：把一阶熵率与单符号熵等同；未说明平稳和马尔可夫前提。
23. 如何解释信源剩余度？
问题意图：考查冗余的定量表达。
30 秒回答：剩余度表示实际平均信息率距离理论最大值的差距，常写为 1−H/Hmax，或结合编码效率定义。概率不均匀和符号相关性都会产生剩余度。
展开逻辑：剩余度越高，压缩潜力越大；但模型失配、有限样本和算法复杂度会限制可实现压缩率。
常见追问：为什么加入上下文模型可以降低剩余度？
易错点：把剩余度与信道冗余混淆；不同归一化基准下直接比较数值。
24. 连续信源的微分熵与离散熵有何不同？
问题意图：防止连续、离散概念混用。
30 秒回答：连续随机变量用微分熵 描述，数值依赖坐标尺度，可以为负；离散熵非负且单位通常为 bit。连续信源还要结合量化精度或失真准则谈可传信息量。
展开逻辑：微分熵本身不是直接可编码比特数，差分熵或率失真函数更适合描述连续源压缩。
常见追问：为什么改变单位会改变微分熵？
易错点：套用离散熵的非负性和最大值结论；忽略密度的量纲。
四、信道、容量与香农定理
25. 如何描述一个离散信道？
问题意图：检查概率转移模型是否完整。
30 秒回答：离散信道由输入字母表 X、输出字母表 Y 和转移概率 p(y|x) 构成。给定输入分布后，联合分布为 ，再据此计算互信息和误码性能。
展开逻辑：信道矩阵每一行概率和为 1；不同输入可以有不同输出分布，体现噪声和失真。
常见追问：无噪信道在转移矩阵上有什么特征？
易错点：把 p(y|x) 写成 p(x|y)；忽略输入分布对互信息的影响。
26. DMC、BSC 和无噪信道分别是什么？
问题意图：考查信道分类和假设。
30 秒回答：DMC 是离散无记忆信道，输出只依赖当前输入；BSC 是二元输入输出且以交叉概率 p 对称翻转的特殊 DMC；无噪信道的输出由输入确定，不发生随机错误。
展开逻辑：BSC 的对称性使等概率输入达到容量；一般 DMC 需要优化输入分布。
常见追问：的 BSC 为什么没有容量？
易错点：把“无记忆”说成“无噪声”；把所有二元信道都当作 BSC。
27. 信道容量的定义是什么？
问题意图：辨析理论上限和实际吞吐量。
30 秒回答：信道容量 ;Y)，是给定信道模型下可实现可靠通信的最大信息率，单位为 bit/信道使用。超过 C 无法通过编码把误码率压到任意小。
展开逻辑：容量由信道条件决定，输入分布只是优化变量；实际系统还受时延、复杂度、协议和有限码长影响。
常见追问：时是否仍能保证任意小误码率？
易错点：把容量当作每次传输必得的比特数；忽略“可靠通信”和“渐近长码”条件。
28. BSC 的容量为什么是 ？
问题意图：考查对称信道容量推导。
30 秒回答：BSC 中 Y 是 X 与独立噪声比特的模二和，。等概率输入使 达到最大，因此 。
展开逻辑：或 1 时容量为 1，时容量为 0；p 与 1−p 的容量相同。
常见追问：p>0.5 时为什么仍可通信？
易错点：把 H₂(p) 写成普通熵；不说明二元对称和等概率输入。
29. AWGN 信道的香农容量公式如何解释？
问题意图：考查公式中的带宽、功率和噪声。
30 秒回答：带宽 W、平均信号功率 S、噪声功率 N 的 AWGN 信道容量为 。增大带宽或信噪比可以提升容量，但收益分别受噪声带宽扩展和对数增长限制。
展开逻辑：公式依赖高斯噪声、平均功率约束和理想长码假设；工程上还要考虑峰值功率、非线性和实现损失。
常见追问：低信噪比时提高带宽是否一定划算？
易错点：漏掉 W；把 S/N 用 dB 数字直接代入对数；混淆噪声谱密度和总噪声功率。
30. 香农限和 Eb/N₀ 极限说明什么？
问题意图：判断是否理解能量效率边界。
30 秒回答：在带宽趋于无限、码长足够长且采用理想编码时，可靠通信所需的 Eb/N₀ 下限约为 −1.6 dB。它是能量效率的理论极限，不是具体调制和码的保证值。
展开逻辑：实际系统离香农限有编码、调制、同步和硬件实现间隙；带宽效率与能量效率需要联合权衡。
常见追问：为什么实际 LDPC 或极化码曲线达不到极限？
易错点：把 −1.6 dB 当作所有系统都能达到的工作点；忘记限值对应渐近条件。
31. 香农第一定理讲什么？
问题意图：考查无失真信源编码极限。
30 秒回答：对离散无记忆信源，平均码长可以逼近熵；用 r 进制码表示时，平均码长下界约为 H_r(X)，并可通过长序列编码任意接近。低于熵不能保证无失真表示。
展开逻辑：定理说明压缩的理论极限，不指定某一种算法。有限块长、字典开销和模型误差会带来额外开销。
常见追问：H(X) 为 2.3 bit/符号时，平均二进制码长能否正好是 2.3？
易错点：说成“每个符号都用 H 位”；把无失真定理和率失真定理混淆。
32. 香农第二定理讲什么？
问题意图：考查有噪信道可靠传输边界。
30 秒回答：只要传输速率 R<C，就存在足够长的信道码，使误码概率任意小；R>C 时不存在这样的可靠编码。C 是分界线，不代表当前码一定达到该性能。
展开逻辑：编码增大冗余、换取抗噪能力；工程设计还要给容量留出实现裕量。
常见追问：R 接近 C 时主要付出什么代价？
易错点：把定理理解成“任何码在 R<C 都可靠”；忽略码长和译码复杂度。
33. 香农第三定理（率失真定理）解决什么问题？
问题意图：区分无失真和允许失真的压缩。
30 秒回答：率失真函数 R(D)给出在允许平均失真不超过 D 时所需的最小信息率。D 越大，允许丢弃的细节越多，所需速率通常越低；时退化为无失真情形。
展开逻辑：定理将压缩率与保真度联系起来，图像、语音和传感数据常采用这一框架。
常见追问：为什么 R(D) 是下凸函数？
易错点：把 D 当作某一次样本的误差；把 R(D) 说成实际编码器一定达到的码率。
34. 什么叫信源与信道匹配？
问题意图：考查系统级速率预算。
30 秒回答：匹配是指经信源编码后的有效信息率 R 不超过信道容量 C，并留有实现裕量；理想条件下 R<C 可可靠传输。信源编码负责去冗余，信道编码负责加可控冗余。
展开逻辑：需要同时核对采样率、压缩率、码率、调制符号率、带宽和功率，不能只比较单一数字。
常见追问：R>C 时可以怎样调整系统？
易错点：只增加信道编码冗余却不重新计算信息率；把总码率和有效信息率混淆。
五、率失真与信源编码
35. 率失真函数 R(D) 的优化对象是什么？
问题意图：理解定义中的随机映射。
30 秒回答：;Y)，优化所有满足平均失真 的条件分布 p(y|x)。X 是原始源，Y 是重构结果，d 是预先定义的失真度量。
展开逻辑：不同失真函数会得到不同的 R(D)；平方误差适合连续信号，汉明失真适合符号错误。
常见追问：如果失真函数不满足对称性会怎样？
易错点：把 p(y|x) 当作信道固定参数；遗漏平均失真约束。
36. R(D) 的典型性质有哪些？
问题意图：检查定性推理。
30 秒回答：R(D) 随允许失真 D 增大而单调不增，通常是下凸函数；D 达到最大可容忍失真 Dmax 时 ，D 小于最小可达失真 Dmin 时问题不可行或需要特殊处理。
展开逻辑：曲线形状反映码率和质量的权衡，系统可在曲线上选择工作点。
常见追问：为什么 R(D) 不会随 D 增大而增加？
易错点：把 Dmin、Dmax 与信道误码率混淆；把单调不增说成严格递减。
37. 无失真信源编码与限失真编码如何选择？
问题意图：考查工程判断。
30 秒回答：数据、程序和控制指令通常要求无失真；语音、图像和部分传感数据可根据感知或任务容忍一定失真。选择取决于业务语义、质量指标、带宽和时延，而不是只看压缩率。
展开逻辑：限失真编码需要明确失真度量和验收阈值；无失真编码则关注可逆性和平均码长。
常见追问：传感数据能否一律采用有损压缩？
易错点：把“有损”理解为数据不可用；不定义失真就比较压缩效果。
38. 唯一可译码、即时码和前缀码有何关系？
问题意图：考查码的层次关系。
30 秒回答：唯一可译码保证任意有限码字序列只有一种分割；即时码无需等待后续码元即可译码；前缀码任一码字不是另一码字前缀，因而一定是即时码，也一定唯一可译码。
展开逻辑：前缀约束换来简单快速的译码；唯一可译码的范围更宽，但判断和译码可能更复杂。
常见追问：非前缀码是否一定不能唯一译码？
易错点：把三个概念说成等价；把 Kraft 不等式当作所有唯一可译码的直接充分必要判据。
39. Kraft 不等式如何使用？
问题意图：检查码长可行性判断。
30 秒回答：对 r 进制即时码，码长 lᵢ 必须满足 Σr⁻ˡⁱ≤1；反过来满足该式的一组正整数码长一定存在对应前缀码。它判断的是码长集合，不直接给出码字内容。
展开逻辑：二进制时是 Σ2⁻ˡⁱ≤1，可用码树的叶节点容量直观解释。
常见追问：等号成立意味着什么？
易错点：把 Kraft 等式当作必须条件；忘记 r 进制底数。
40. Shannon-Fano 与 Huffman 编码有什么差别？
问题意图：考查两种经典构造算法。
30 秒回答：Shannon-Fano 按概率从大到小递归分组，通常接近最优但不保证最优；Huffman 每次合并概率最小的两个节点构造码树，得到给定概率下最优前缀码之一。
展开逻辑：二者都利用统计匹配，编码结果可能因 0/1 分配或并列概率而不同，但平均码长可相同。
常见追问：什么时候 Shannon-Fano 恰好达到 Huffman 性能？
易错点：把 Shannon-Fano 说成始终最优；合并概率顺序错误。
41. Huffman 编码的平均码长和效率怎么计算？
问题意图：考查编码结果的量化评价。
30 秒回答：平均码长 ；二进制编码效率可写为 ，若以码元信息率定义则 。Huffman 码满足 <H+1（二进制）。
展开逻辑：还应报告码率、冗余度和是否满足前缀约束；长序列扩展通常能进一步逼近熵。
常见追问：为什么平均码长可以不是整数？
易错点：把 L 当成最长码长；效率分母漏掉码制的 log₂r。
42. 为什么要进行信源扩展再编码？
问题意图：理解逼近熵界的办法。
30 秒回答：将多个源符号组成一个扩展符号，可以让概率匹配更细，平均每个原始符号的码长更接近熵。代价是码表规模、存储和延迟增加。
展开逻辑：扩展阶数不能无限增加，应结合训练数据量和实时性选择。
常见追问：有记忆信源扩展时还要注意什么？
易错点：把扩展符号数与信息量简单相乘；忽略模型估计误差。
43. 算术编码与前缀码的基本思想有何不同？
问题意图：考查现代压缩方法的表示方式。
30 秒回答：前缀码为每个符号分配独立码字；算术编码把整个符号序列逐步映射到 [0,1) 中越来越小的概率区间，最后用区间内一个数表示序列。它更容易逼近熵，但实现需要高精度和概率模型。
展开逻辑：算术编码不是逐符号固定长度输出，概率更新和数值稳定性是工程重点。
常见追问：算术编码如何保证可逆？
易错点：把算术编码误认为浮点近似而不可逆；忽略编码端和解码端模型必须一致。
六、信道编码与译码
44. 信道编码为什么要主动增加冗余？
问题意图：辨析“冗余”在压缩和纠错中的相反作用。
30 秒回答：信道编码加入结构化冗余，让接收端能检测或纠正噪声造成的错误，从而提高可靠性；它会降低有效码率，但只要总信息率仍低于容量，整体可靠性可以提升。
展开逻辑：信源冗余应被压缩，信道冗余则是有目的地添加，二者不能混为一谈。
常见追问：为什么加冗余不会违反香农第二定理？
易错点：说“冗余越多越好”；只看码率不看误码和译码复杂度。
45. FEC、ARQ 和混合纠错如何比较？
问题意图：考查可靠传输协议的工程选择。
30 秒回答：FEC 在接收端直接用冗余纠错，时延稳定但带宽开销固定；ARQ 检错后请求重传，信道好时效率高但引入反馈和时延；混合方案先 FEC，再对残余错误 ARQ，兼顾两者。
展开逻辑：广播、深空和低时延链路偏向 FEC；可靠有反馈的分组网络常采用混合策略。
常见追问：无反馈场景为什么不能依赖 ARQ？
易错点：把检错当成纠错；忽略反馈链路和重传时延。
46. MAP、最大似然和最小距离译码分别依据什么？
问题意图：理解译码准则的条件。
30 秒回答：MAP 选择后验概率最大的码字，使用先验信息；最大似然只比较 p(r|c)，无先验或等先验时与 MAP 等价；对称无记忆信道下，最大似然常等价于选择汉明距离最小的码字。
展开逻辑：信道模型、码字先验和度量决定最优准则，不能脱离条件谈“最小距离总是最优”。
常见追问：软判决为什么通常优于硬判决？
易错点：把 MAP 的先验项漏掉；认为任何噪声下都可用汉明距离。
47. 汉明重量和汉明距离如何定义？
问题意图：检查纠错码基本度量。
30 秒回答：二进制向量的汉明重量是其中 1 的个数；两个等长向量的汉明距离是对应位置不同的个数，等于两者模二异或结果的重量。线性码中 ⊕c₂)。
展开逻辑：距离定义直接决定码字分离程度和纠错半径。
常见追问：非二进制码如何定义距离？
易错点：把欧氏距离或码字长度当成汉明距离；忽略等长前提。
48. 最小距离与检错、纠错能力是什么关系？
问题意图：考查高频结论及其边界。
30 秒回答：最小距离 dmin 至少为 l+1 才能检出 l 个错误；至少为 2t+1 才能纠正 t 个错误；若同时检 l 个并纠 t 个，需 。纠错能力取整为 floor((dmin−1)/2)。
展开逻辑：这些是保证性条件，不代表每个错误模式都能被同一译码器成功处理。
常见追问：能检出和纠正多少随机错误？
易错点：把 t+l+1 写成 2t+l+1；把“最多保证”说成“必然发生”。
七、线性分组码与汉明码
49. 线性分组码的 (n,k) 参数表示什么？
问题意图：确认码率和冗余的基本概念。
30 秒回答：(n,k) 码把 k 个信息比特映射为 n 个码比特，码率为 k/n，冗余比特数为 n−k。线性码的码字集合构成 GF(2) 上的 k 维线性子空间。
展开逻辑：码率越低通常纠错余量越大，但有效吞吐量下降；还要考虑最小距离和译码复杂度。
常见追问：为什么线性码一定包含全零码字？
易错点：把 n/k 当作码率；只看冗余位数不看码字结构。
50. 生成矩阵 G 如何完成编码？
问题意图：考查矩阵编码和维度。
30 秒回答：对行向量信息 m，码字 （运算在 GF(2) 上进行）。G 是 k×n 矩阵，行空间就是全部码字；系统码常把 G 写成 [Iₖ | P]。
展开逻辑：实现时用异或代替普通加法；不同基底可产生不同 G，但代表同一个码空间。
常见追问：如何由 G 构造校验矩阵 H？
易错点：矩阵维度写反；用整数加法而不是模二加法。
51. 校验矩阵 H 的作用是什么？
问题意图：检查码空间、检错和综合的统一理解。
30 秒回答：合法码字满足 Hcᵀ=0，且生成矩阵满足 HGᵀ=0。接收向量 r 的综合 ᵀ反映其是否偏离码空间，只能说明未检测到错误，不能排除某些不可检测错误。
展开逻辑：标准阵列或查表译码常用综合定位最可能错误模式。
常见追问：为什么 不一定代表原始信息正确？
易错点：把 当成绝对无错；忽略转置和行列约定。
52. 汉明码为什么能纠正 1 位错误？
问题意图：考查汉明码结构与距离。
30 秒回答：典型汉明码通过若干校验位使每个单比特错误对应唯一非零综合，且码的最小距离为 3，因此可纠正 1 位错误、检测 2 位错误。校验位数 r 需满足 2ʳ≥n+1。
展开逻辑：综合可看作错误位置的二进制编号；扩展汉明码增加总校验位后可实现 SEC-DED。
常见追问：为什么普通汉明码不能可靠纠正两位错误？
易错点：把“能检测两位”说成“能纠正两位”；忘记综合位数约束。
53. 如何用综合译码一个线性分组码？
问题意图：考查从接收向量到纠错码字的流程。
30 秒回答：先计算 ᵀ；若 ，保留 r；若 S 非零，在综合表中查找对应的最小重量错误向量 ê，再计算 ĉ=r⊕ê，最后提取信息位。综合表要与信道错误模型匹配。
展开逻辑：软信息译码会使用可靠度而不仅是错误位置；查表法适合短码，长码通常用迭代或序列算法。
常见追问：两个错误模式对应同一综合怎么办？
易错点：直接把综合当作错误向量；纠错后不检查 ĉ 是否满足 Hĉᵀ=0。
54. 系统码与非系统码各有什么特点？
问题意图：考查编码结构和工程权衡。
30 秒回答：系统码直接保留 k 位信息位，便于提取和实现；非系统码把信息混合在全部码位中，结构更自由。二者可以描述同一个码空间，性能主要由码空间和译码器决定。
展开逻辑：系统码不等于性能更好，实际还要看硬件布线、功耗和错误传播。
常见追问：如何把一个线性码的 G 化为系统形式？
易错点：把“系统码”理解成系统级通信协议；认为非系统码必然不能恢复信息。
八、循环码、卷积码与可靠性
55. 循环码的闭包性质是什么？
问题意图：检查循环码定义。
30 秒回答：循环码是线性分组码，任一码字循环移位后仍是码字。把码字视作多项式后，循环移位可用模 xⁿ−1（在二元域常写 xⁿ+1）运算表示。
展开逻辑：闭包性质允许用生成多项式和移位寄存器实现编码、检错，硬件复杂度低。
常见追问：为什么二元域里 xⁿ−1 与 xⁿ+1 可等价书写？
易错点：把循环码误认为任意循环移位都产生不同码字；不说明运算域。
56. 循环码的生成多项式和校验多项式有什么关系？
问题意图：考查多项式表示。
30 秒回答：生成多项式 g(x) 是码字理想的首要生成元，次数为 n−k，并且 g(x)整除 xⁿ−1。校验多项式 ⁿ−1)/g(x)，次数为 k；具体符号约定需与题目一致。
展开逻辑：信息多项式 m(x)经 得到码字；除法余数可用于综合检错。
常见追问：给 n 和 g(x) 如何求 k？
易错点：把 g、h 次数互换；在 GF(2) 多项式除法中使用普通整数系数。
57. 循环码如何用移位寄存器实现？
问题意图：把代数定义落到硬件结构。
30 秒回答：用 g(x) 的非零系数决定反馈抽头，移位寄存器在 GF(2) 上进行异或反馈，连续输入信息位即可产生校验位或综合。寄存器级数等于 g(x) 的次数。
展开逻辑：发送端和接收端可共用 CRC/LFSR 结构；初始状态、输入方向和补零规则必须统一。
常见追问：如何验证硬件实现与多项式公式一致？
易错点：漏掉最高次项或初始补零；把异或反馈误接成普通加法。
58. 卷积码与分组码的根本区别是什么？
问题意图：考查有无记忆和译码结构。
30 秒回答：分组码对固定长度的信息块独立编码，卷积码利用有限状态记忆，当前输出由当前及过去若干输入决定，形成连续码流。卷积码常用码率和约束长度描述，并在网格图上译码。
展开逻辑：卷积码适合连续流和时延受限场景；分组码便于块级校验和并行处理。
常见追问：尾比特为什么会影响卷积码码率？
易错点：把约束长度当作码字长度；忽略初始状态和终止状态。
59. 维特比算法在卷积码中做什么？
问题意图：检查最大似然序列译码思路。
30 秒回答：维特比算法在状态网格上累积路径度量，每到一个状态只保留度量最优的幸存路径，最后回溯得到最大似然输入序列。硬判决用汉明距离，软判决用欧氏或对数似然度量。
展开逻辑：它把指数级路径搜索降为与网格长度线性、与状态数成正比的计算；回溯深度影响性能和时延。
常见追问：为什么不能简单逐符号选最小距离？
易错点：把维特比当作逐比特贪心算法；忽略状态记忆和幸存路径。
60. 交织和级联编码为什么能改善突发错误性能？
问题意图：考查编码系统的组合设计。
30 秒回答：交织器把相邻突发错误打散，使内码看到的错误更接近随机分布；级联码用不同码的分工同时处理随机错和突发错。代价是额外存储、时延、同步和译码复杂度。
展开逻辑：交织深度应覆盖典型突发长度，过深会增加实时性负担；系统要用 FER、BER 和时延共同评估。
常见追问：交织器本身能否纠错？
易错点：把交织当作编码；只看 BER 改善而忽略突发错误长度和缓存延迟。
九、综合判断与高频追问
61. 如何判断一个信道编码方案是否值得采用？
问题意图：考查从公式到工程决策的能力。
30 秒回答：先明确目标 BER/FER、有效吞吐量、带宽、功耗和时延，再比较码率、最小距离或迭代增益、译码复杂度和实现成熟度。最后用统一信道模型和曲线验证，而不是只看理论增益。
展开逻辑：还要考虑软硬判决接口、缓存、并行度、误码平台和失步恢复。
常见追问：为什么高码率方案在低信噪比下反而可能更差？
易错点：把峰值编码增益当成全工作区间增益；忽略系统瓶颈可能在同步或射频前端。
62. 互信息和信道容量有什么区别？
问题意图：检查是否能区分给定输入分布下的信息传递量与信道本身的极限能力。
30 秒回答：互信息 描述在给定输入分布和信道条件下，输出对输入不确定性的平均减少量；信道容量是对所有允许输入分布取最大后的互信息，即 。因此同一信道的实际互信息可以低于容量，只有输入分布达到最优且编码足够长时才可能逼近容量。
展开逻辑：互信息既受信道转移概率影响，也受信源分布影响；容量固定了信道模型后，优化的是输入分布。无噪信道中容量受符号集合和带宽约束，带噪离散信道可由转移矩阵求解，连续高斯信道则与带宽、信噪比有关。回答数值题时还要说明对数底决定 bit 还是 nat。
常见追问：为什么一个输入分布均匀的信源经过二元对称信道时，不一定总能达到容量？
易错点：把容量当成某次传输实际获得的信息量，或忘记容量需要对输入分布取最大。
63. 为什么说信源编码和信道编码应分工而不是互相替代？
问题意图：检查系统分层意识。
30 秒回答：信源编码利用统计冗余减少有效信息率，信道编码增加结构化冗余对抗噪声。前者追求压缩，后者追求可靠，目标相反但可通过级联协同工作。
展开逻辑：先压缩再纠错通常更有效；若先加纠错再压缩，编码冗余可能被破坏。
常见追问：端到端加密位于两类编码的什么位置？
易错点：把所有“编码”都当成压缩；认为信道编码能恢复被有损压缩丢掉的内容。
64. 互信息、信道容量和实际吞吐量如何区分？
问题意图：辨析三个常被混用的指标。
30 秒回答：互信息是给定输入分布时每次信道使用共享的信息量；容量是对输入分布取最大后的理论上限；实际吞吐量还要扣除协议、导频、重传、实现损失和安全开销。
展开逻辑：同一信道不同输入分布会有不同互信息，但容量固定；实际链路工作点通常低于容量。
常见追问：自适应调制编码是在改变哪个量？
易错点：把容量当作瞬时速率；把提高发射功率等同于线性提高吞吐量。
65. 如何解释“低于容量就能可靠通信”并不等于“零错误”？
问题意图：考查渐近定理的边界。
30 秒回答：香农定理说在码长趋于足够大时，存在码使误码概率趋于任意小，而不是有限长度下绝对零错误。工程系统还受译码复杂度、时延、信道估计和模型失配限制。
展开逻辑：设计时要留出信噪比和码率裕量，并以目标 BLER/FER 验证，而不能只比较 R 与 C。
常见追问：R 非常接近 C 时为什么需要更长码？
易错点：把“任意小”说成“等于零”；忽略有限块长效应。
66. 如果发现误码集中成突发形态，应优先检查什么？
问题意图：考查故障定位与编码策略。
30 秒回答：先确认时钟、同步、缓存和射频干扰是否造成连续失真，再看交织深度、突发纠错能力和重传机制。不能仅凭平均 BER 判断，需要观察错误长度分布和时间相关性。
展开逻辑：短突发可由交织和块码处理，长突发可能需要链路重同步或更换物理层参数。
常见追问：怎样区分随机错与突发错？
易错点：看到 BER 上升就盲目降低码率；忽略错误可能来自同步失锁而非噪声。
67. 为什么软判决译码需要可靠度信息？
问题意图：考查接收机输出与译码器接口。
30 秒回答：硬判决只保留 0/1，软判决还保留幅度或对数似然，译码器可以据此区分“确定的 0”和“勉强判成 0”。在相同码率下，软信息通常带来更好的误码性能。
展开逻辑：软判决需要标定噪声方差和量化范围，接口错误会抵消理论增益。
常见追问：软信息过度量化会有什么后果？
易错点：把软判决说成模拟信号直接输入；忽略 LLR 符号和尺度约定。
68. 如何验证一个自定义编码器和译码器实现正确？
问题意图：考查工程验证闭环。
30 秒回答：先做无噪声端到端回环，再用可控单错、多错和突发错注入验证边界；随后扫描信噪比，检查 BER/FER 曲线趋势，最后与独立参考实现交叉比对。
展开逻辑：还应覆盖随机种子、帧长、尾比特、穿孔、交织和异常输入，并检查综合、校验方程和码率。
常见追问：如何避免测试只验证了“自己和自己一致”？
易错点：只测随机数据平均 BER；没有针对可证明的 dmin、纠错半径设计定向用例。
69. 信息论在机器学习或数据压缩中有哪些应用？
问题意图：考查迁移理解和研究潜力。
30 秒回答：熵可衡量不确定性，互信息可做特征选择和表示学习目标，KL 散度用于分布拟合，率失真用于压缩质量权衡。应用时必须明确数据分布、估计偏差和评价指标。
展开逻辑：有限样本下熵估计可能有偏，互信息估计也可能受维数和离散化影响。
常见追问：为什么互信息最大不一定带来最好的分类准确率？
易错点：把相关性指标直接当作因果关系；忽略估计器和数据集偏差。
回答要点
- 自信息、熵、联合熵、条件熵与互信息的定义、关系和物理意义。
- 无失真信源编码、Kraft 不等式、Huffman 编码、信道容量与香农定理。
- 线性分组码、汉明码、循环码、卷积码、译码和可靠性判断。
常见追问
- 若输入分布、信道噪声或失真准则改变，结论如何变化？
- 如何用仿真、误码率曲线或综合验证公式对应的工程判断？
常见误区
- 混淆 H(X|Y)（疑义度）与 H(Y|X)（噪声熵）。
- 把信道容量当成实际必然速率，或忽略公式的信道模型和单位。
- 把 Kraft 不等式、最小距离和纠错能力的适用条件混为一谈。