KunSpace
返回博客

DSPC 专栏①:DSP Concepts 与 Sensory——能力划分与整机拼法

2026年7月14日
3 次阅读

读完了?别空手走啊 😏

这行字出现时,你的大拇指应该已经 itch 了

写评论

读完了不评论,作者会以为你在沉思

这篇写什么?

本方案在 TV 上做 语音唤醒EQ 音效,算法侧采用 DSP Concepts(DSPC) 的 Audio Weaver,以及 Sensory 的 Wake Word Engine(WWE)。本文是专栏第 1 篇,说明两家模块的职责边界,以及在整机里如何拼在一起。

DSPC 专栏阅读地图DSPC 专栏阅读地图

一、DSPC 与 Sensory

DSP Concepts(DSPC) Sensory
角色 音频处理平台 Audio Weaver(AWE) 与算法模块 端侧 Wake Word Engine(WWE)、命令 Spotter 等
交付物 .awb 处理图、AWE Core、调参工具 .snsr 模型、PhraseSpotter / SoundTrigger
本方案职责 Playback EQ、TalkTo 远场前端、TalkTogether 会议前端 唤醒词检测与事件上报

DSPC 负责把麦克风 / 播放参考处理成可用的 PCM;Sensory 在干净语音上做唤醒判决。二者是上下游关系,不是同一家厂商。

通用唤醒 / ASR / TTS 概念见:语音模块总览


二、DSPC:EQ、TalkTo、TalkTogether

均运行在 Audio Weaver 中,业务不同、layout(.awb)不同:

模块 用途 输入 → 输出
EQ / PlayPack 播放通路音效 媒体 PCM → 处理后 → Speaker
TalkTo 人→机器:远场语音前端 Mic + 播放 Ref → 干净近讲话 → WWE / ASR
TalkTogether 人→人:全双工会议 Mic + Ref → AEC/NR/AGC… → Zoom 等上行
播放     → EQ / PlayPack
远场唤醒 → TalkTo → Sensory WWE → Voice App / ASR
会议     → TalkTogether → Zoom

约束:

  • TalkTo 是 采集前端,不是 Playback EQ。
  • TalkTo 与 TalkTogether 一般互斥装载(开会装 Together,散会装回 TalkTo)。

三、Sensory WWE

Always-on / VAD
  → WWE 模型判唤醒词
  →(可选)端侧再确认
  → 上报事件 → Android(Event Proxy / Voice App)

本方案挂法:

Mic → TalkTo(AEC / 波束 / 降噪)→ 干净 1ch → Sensory WWE → 事件

Sensory 不处理多麦阵;输入为 TalkTo 出口。官方 Sample 见专栏第 2 篇。


四、落到 Android 栈时怎么理解

App:AudioTrack / AudioRecord /(可选)AudioEffect
  → AudioFlinger
  → Audio HAL:MS12、AWE Playback EQ、TalkTo/TalkTogether 编排
  → ALSA:TDM Out、PDM In、LoopBack(Ref)
  →(常驻 DSP)TalkTo → Sensory WWE ──事件──→ Event Proxy → Voice App
  →(开会切图)TalkTogether → Zoom 的 AudioRecord
层级 内容
ARM · Android App、Flinger、HAL、Event Proxy
HiFi5 实时 AWE + WWE
ALSA / 硬件 喇叭、麦、LoopBack

开发视角的逐通路拆解见 专栏③:事件与 PCM 分流、多路 Record、AEC Ref。


五、专栏目录

内容
(本文) 能力划分与整机拼法
官方 TalkToSampleApp:TalkTo 挂 WWE
TV 产品:Android + HiFi5
远场唤醒 / Zoom / 遥控三条路径
ARM 集成与落地清单

小结

  • 本方案 = DSPC(EQ + TalkTo + TalkTogether)+ Sensory WWE
  • EQ 管播放;TalkTo 管远场前端;TalkTogether 管会议;WWE 挂在 TalkTo 出口。

下一篇:官方 TalkToSampleApp 挂法。

系列导航: · · · ·

评论

还没有评论,来做第一个吧

读完了不评论,作者会以为你在沉思