汽车网站模块,网站开发的基本过程,长春做网站 长春万网,Wordpress 导航条样式文章目录基于发送端丢包补偿技术原理与媒体无关的前向差错纠正媒体相关前向差错纠正交织技术基于接受端丢包补偿技术基于插入方法基于插值方法基于重构的方法应用建议非交互式交互式拓展阅读参考丢包补偿技术可以分为两类#xff1a;基于发送端补偿、基于接受端补偿
基于发送… 文章目录基于发送端丢包补偿技术原理与媒体无关的前向差错纠正媒体相关前向差错纠正交织技术基于接受端丢包补偿技术基于插入方法基于插值方法基于重构的方法应用建议非交互式交互式拓展阅读参考 丢包补偿技术可以分为两类基于发送端补偿、基于接受端补偿
基于发送端补偿前向差错纠正、交织和重传技术
基于接受端补偿错误隐蔽算法
基于发送端丢包补偿技术原理
主动主动重传被动被动通道编码 前向差错纠正技术(FEC) 与媒体无关的方法利用音频属性的媒体相关方法 基于交织的技术
与媒体无关的前向差错纠正
每个媒体数据包附带k个校验包校验包的每个bit都是由相关数据包的同位置bit产生的。
下面是4个媒体数据包附带1个校验包 TODO疑问具体怎么从FEC重构出3号包的呢
优点该方式补偿与具体的媒体内容无关计算量小
缺点不能立即解码引入延时带宽增加
媒体相关前向差错纠正
一种简单的抗丢包方式是采用多个包传送同样的音频单元。一旦丢了一个信息可以从另外一个包含该单元的恢复出来。
第一个传输的数据包称为主要编码第二个传输的复本称为次要编码。
次要编码一般为主要编码的较低码率和较低音质的编码。 编码器的选择取决于带宽需求和计算复杂度需求。
如果主要编码器能做到高音质和低码率那么次要编码器也可以采用和主要编码器一样的方法。
媒体相关前向差错纠正引起了包大小的额外开销
8kHz PCM U律的主要编码器占用64kb/s带宽全速率GSM编码的次要编码器占用13.2kb/s带宽这样就增加了20%的带宽开销。
额外的带宽开销并不是固定而是可变的。分析表明利用语音的特性并不需要在每个语音包附加媒体相关前向差错纠正加上这些策略可以节省30%的带宽。
媒体相关前向差错纠正的一个好处就是不会引入大的延时最多也就是一个包的延时。这适合实时交互的应用。
交织技术
当我们考虑比语音包还小的语音单元并且可以承受较大的延时交织是一种很有用的抗丢包技术。
语音单元在传输之前重新排序这样在传输流中原来领近的语音单元变成有规律间隔的单元接收端再按原来的顺序排列回来。
下面将20ms包分为5ms单元传输的一个丢包变成了分散的多包中的单元丢失。 交织的好处
长时间的丢包给听觉带来不舒适和难以理解但是短时间的单元丢失是更易被听觉接受的也容易理解错误隐藏比较容易处理短时间的单元丢失因为时间短语音的变化小。
交织的不足就是也会引入延时只适合非交互式的应用。交织的另外一大好处就是不会引起带宽需求的增加。
基于接受端丢包补偿技术
错误隐蔽算法是接受端丢包补偿技术的主要理念。
它通过产生一个与丢失的语音包相似的替代语音从而实现基于语音的短时语音相似性。它可以处理较小15%的丢包率和较小的语音包4~40ms。
当丢包长度长度达到音素的长度5~100ms整个音素的丢失将导致该算法的失效。
音素概念
https://baike.baidu.com/item/%E9%9F%B3%E7%B4%A0/5689615?fraladdin
基于接收端的差错隐藏技术可以分为三类
基于插入的方法 拼接法静音置换法噪声置换法包重复法 基于插值的方法 波形置换法基音波形复制法时间尺度修正法 基于重构的方法 传输状态插值法基于模型的恢复法
基于插入方法
插入一个填充包来修复丢包填充包一般都很简单比如静音包、噪声包或重复前面的包。虽然容易实现效果很差。
缺点没有利用语音的信息来重新产生信号。
**拼接法**直接把丢包两端的语音拼接起来这种最简单的方法不但打乱了语音的时钟顺序而且只适合很小的丢包间隔4-16ms和极低的丢包率丢包率大于3%就不能忍受了。
**静音置换法**该方法在丢包处加入静音这样保持了语音的时钟顺序。它只有在很小的包大小4ms和很低的丢包率2%是有效的。随着包大小的增加他的性能明显下降到40ms的包大小就完全不能接受了。
**噪声置换法**该方法在丢包处加入背景噪声或舒服噪声。它比静音置换法好处是提高了语音的可理解性效果较好。
**重复法**利用接受到的最近包来重复代替丢失的包具有低计算量和适度的音质。较长的后续丢失包可以衰减重复的包来产生。比如GSM中丢包前20ms采用重复后续320ms的通过衰减重复包到零。
基于插值方法
该方式通过某种形式的模式匹配和插值技术以期望得到与原来丢包相似的代替包。该方式比插入方法实现难度要大但效果好些。该方式相对插入法的好点就是考虑到了语音的变化信息来产生信号。
波形置换法Waveform substitution该方式使用丢包前可选后的语音来找到合适的信号代替丢包。它通过单端或双端模式来确认合适的基音周期。单端模式时基因周期重复跨越丢包区域双端模式时需要对两边的周期进行插值。
基音波形复制法Pitch waveform replication这是一种带有基音周期检测算法的改进型波形置换法。它利用丢包双端的信息在无声状态时可以重复前面的包有声状态时重复基音波形。其效果比波形置换法要好。
时间尺度修正法Time scale modification该方法允许语音从丢包两端按基音周期伸展来跨越丢包区域在两者交叠的地方进行平均。该方法计算量较大但是效果比前面两个好些。
基于重构的方法
该方式通过丢包前后的解码信息来重构产生一个补偿包。该方式音质最好但是实现难度也是最大的。重构修复技术使用语音压缩算法的知识来获得编码参数这样丢失的包就可以合成。该方法依赖于编码算法但是由于有大量信息可用效果较好计算量也大。
传输状态插值法Interpolation of transmitted state对变换域编码和线性预测编码而言解码器可以在传输状态之间进行插值。比如 ITU G.723.1对丢包两端的线性预测系数进行插值使用原先帧的周期激励。这种方法的计算量和解码是一样的不会增加。
基于模型的恢复法Model-based recovery该方法把丢包前后的语音嵌入到一个语音模型中用来产生丢失的包。有研究者采用过去的样本对语音进行自回归分析建模。这种方法的适应性是因为第一间隔的语音帧如果足够小8-10ms就有很强的相关性第二大部分的低比特率编码技术就是采用的自回归分析和激励信号的模型。 要获得好的丢包补偿效果就必须采用复杂的算法。上图显示了各种错误隐蔽算法的复杂度和质量对应关系可以根据需要采用。比如带有衰减的包重复法是一种折衷方案。
应用建议
非交互式
对于非交互式的语音应用比如多点广播对延时的要求没有音质高。交织是强烈推荐的丢包补偿技术对于交织后的语音还要采用合适的错误隐蔽算法。与媒体无关的前向误差纠正技术也适合这种应用。
交互式
交互式的应用比如IP电话、即时通讯应用中的实时语音聊天等对延时很敏感因此交织和与媒体无关的前向误差纠正技术都不适合这种应用。媒体相关的前向误差纠正技术只引入很小的延时和较小的带宽增加是较好的选择可以利用低比特率的次要编码器获得丢包补偿效果。另外还可以采用带有衰减的包重复法等效果较好计算简单的错误隐蔽算法进一步提高音质。
拓展阅读
https://hanhandi.blog.csdn.net/article/details/108795644
参考
http://www.52im.net/thread-251-1-1.html
