传统认知里“优质交互 = 高性能硬件”的等式正在被打破?
超低端开发板也能实现高配置硬件才有的实时打断语音交互?
网易云信推出的云端回声消除技术不仅解决了硬件配置对交互体验的限制,更以系统性解决方案重构了嵌入式设备的实时对话体验。
困境:体验or成本?
回声消除技术是实时打断功能的基础底座。实时打断能还原人类对话的自然逻辑,避免机械感,增强用户在交互中的控制权,优化情感体验;同时,还能提升信息获取和任务执行的效率,减少时间损耗。在推动对话式 AI 从“工具”向“伙伴”进化方面,实时打断是塑造自然交互体验、衡量 AI 交互拟人化程度及产品交互体验优劣的核心要素,因此,回声消除也成为提升人机对话体验的重要因素。
传统回声消除功能的实现依赖硬件自身配备的 AEC( Acoustic Echo Cancellation,声学回声消除)处理方案,然而此类硬件往往价格不菲——受制于芯片算力与功耗限制,传统 AEC 算法常因处理延迟或资源占用过高,致使部署成本较高,支持先进 AEC 功能的硬件价格可达普通版本的 2 至 5 倍。
以智能玩具市场为例,一款采用基础硬件的入门级产品,物料成本若为 50 元,要搭载能实现高效 AEC 功能的硬件,成本则会飙升至 100 - 250 元,这对追求性价比、成本敏感型的厂家而言,无疑是沉重的负担。在大规模生产中,这种成本差异会被进一步放大,给企业利润空间带来极大压缩。但若为降低成本而使用基础硬件,玩具则无法进行实时打断,大大影响用户的交互体验,亦会失去市场。
网易云信赋能智能对话玩偶-网易数智吉祥物沖沖
选择:低研发成本方案
面对两难困境,不少厂商诉诸于“让低配置硬件实现打断效果”的解决方案,目前业内主要有以下两种实现方式。
一是通过外置硬件解决 AEC 问题,设置一个独立的硬件模块解决采集时的回声问题,这是大多数硬件厂商的解决方案,也是目前较优的解决方案,但是其存在一定门槛,对于没有硬件设计能力的厂商并不友好。
二是软件方案,硬件端侧将采集信号包和参考包一起发送给服务器,在服务器上实现回声消除,再将处理后的数据投递给 VAD/ASR 模块。这种方案虽然看似简单——只是把端上的工作移到了服务器,但实际操作十分复杂, AEC 算法对采集信号和参考信号之间的延迟抖动非常敏感,每次延迟抖动都需要 AEC 算法重新收敛,过程中可能产生漏音而导致误打断,只有专业的音视频处理厂商才能做好。
网易云信采用后者,为厂商提供更加简单的软件解决方案,让没有对应的硬件设计能力、条件以及重新开模意愿的厂商,直接在存量硬件上实现升级。这种方案接入便捷,能有效缩短研发周期,降低研发成本,使中小厂商也能在低成本设备上实现专业级交互能力;“端云协同” 的技术路径推动行业向 “轻量化终端 + 智能化云端” 的架构转型,为后续脑机接口、多模态交互等前沿技术的落地预留了硬件弹性空间。
回声消除算法基础流程
创新:云端回声消除
为了保证云端回声消除的效果,网易云信通过 “端云协同” 的架构创新,实现了对传统技术路径的改良。方案的核心逻辑在于将复杂的回声消除运算迁移至云端服务器,终端仅负责音频信号的采集与传输,具体技术实现包含以下关键设计:
1. 延时抖动控制体系构成了方案的底层技术支撑。回声消除效果受参考信号-采集信号延时抖动的影响,AEC稍微有一点点漏音就会触发误打断,因此,网易云信在端侧音频接收层集成了 JitterBuffer 与 NetEQ 算法,通过动态调整数据包缓存策略,消除网络抖动;实测数据显示,该体系即使在户外移动的复杂环境下,也能保证流畅播放和对话。
2. 进阶版 AEC 算法架构是方案的技术核心。针对服务端 AEC 算法应用,网易云信设计了更灵敏的延时估计模块,拓展自适应滤波器长度,动态调整滤波器系数,即使面对突发延时波动也能保持回声路径跟踪精度。对 TOP 100机型的测试中,通话无完整回声泄漏情况,回声残留概率仅为 0.46%,与端侧 AEC 效果基本相似。构造延时波动特殊情形进行测试,延时变化位置回声泄漏时长平均值低于 30ms。
延时估计模块结构图
3. AI-VAD 联动机制实现了从“回声消除”到“交互优化”的价值跃升。云端 AEC 处理后的音频流会同步输入 AI 驱动的语音活动检测(VAD)模块,该模块通过分析语音能量、过零率等 20 + 特征参数,结合 LSTM 神经网络对上下文语义的理解,可精准提取对话语音段并识别发言中的语气连词避免发言误截断。这一机制使误打断率从传统方案的 15% 降至 2% 以下,交互流畅度提升 6 倍以上。
4. AI-AEC 方案在智能交互领域应运而生。传统 AEC 算法“双讲”效果存在瓶颈,近期云信正在探索基于深度神经网络的 AEC 方案,利用深度模型强大的拟合能力为非线性回声、混响、“双讲”等复杂场景的效果带来提升。回声消除算法不再单一地作为通话采集模块,更多的出现在智能交互领域作为 ASR 的前处理,因此,以 ASR 识别率为目标的 AI-AEC 方案更有助于在智能交互场景下的表现提升。
在万物智联的时代背景下,云端回声消除技术的价值不仅在于解决嵌入式设备的交互难题,更在于它证明了 “算力下沉、智能上移” 的技术路线可行性。
随着边缘云基础设施的完善,未来或许不再有 “高端硬件” 与 “低端设备” 的严格区分,而是通过云端算力的弹性供给。
让每一台智能硬件都能获得与应用场景匹配的交互能力,这是网易云信在智能硬件领域发展的长远目标。
关于我们
