这篇写什么?
本方案在 TV 上做 语音唤醒 与 EQ 音效,算法侧采用 DSP Concepts(DSPC) 的 Audio Weaver,以及 Sensory 的 Wake Word Engine(WWE)。本文是专栏第 1 篇,说明两家模块的职责边界,以及在整机里如何拼在一起。


一、DSPC 与 Sensory
| DSP Concepts(DSPC) | Sensory | |
|---|---|---|
| 角色 | 音频处理平台 Audio Weaver(AWE) 与算法模块 | 端侧 Wake Word Engine(WWE)、命令 Spotter 等 |
| 交付物 | .awb 处理图、AWE Core、调参工具 |
.snsr 模型、PhraseSpotter / SoundTrigger |
| 本方案职责 | Playback EQ、TalkTo 远场前端、TalkTogether 会议前端 | 唤醒词检测与事件上报 |
DSPC 负责把麦克风 / 播放参考处理成可用的 PCM;Sensory 在干净语音上做唤醒判决。二者是上下游关系,不是同一家厂商。
通用唤醒 / ASR / TTS 概念见:语音模块总览。
二、DSPC:EQ、TalkTo、TalkTogether
均运行在 Audio Weaver 中,业务不同、layout(.awb)不同:
| 模块 | 用途 | 输入 → 输出 |
|---|---|---|
| EQ / PlayPack | 播放通路音效 | 媒体 PCM → 处理后 → Speaker |
| TalkTo | 人→机器:远场语音前端 | Mic + 播放 Ref → 干净近讲话 → WWE / ASR |
| TalkTogether | 人→人:全双工会议 | Mic + Ref → AEC/NR/AGC… → Zoom 等上行 |
播放 → EQ / PlayPack
远场唤醒 → TalkTo → Sensory WWE → Voice App / ASR
会议 → TalkTogether → Zoom
约束:
- TalkTo 是 采集前端,不是 Playback EQ。
- TalkTo 与 TalkTogether 一般互斥装载(开会装 Together,散会装回 TalkTo)。
三、Sensory WWE
Always-on / VAD
→ WWE 模型判唤醒词
→(可选)端侧再确认
→ 上报事件 → Android(Event Proxy / Voice App)
本方案挂法:
Mic → TalkTo(AEC / 波束 / 降噪)→ 干净 1ch → Sensory WWE → 事件
Sensory 不处理多麦阵;输入为 TalkTo 出口。官方 Sample 见专栏第 2 篇。
四、落到 Android 栈时怎么理解
App:AudioTrack / AudioRecord /(可选)AudioEffect
→ AudioFlinger
→ Audio HAL:MS12、AWE Playback EQ、TalkTo/TalkTogether 编排
→ ALSA:TDM Out、PDM In、LoopBack(Ref)
→(常驻 DSP)TalkTo → Sensory WWE ──事件──→ Event Proxy → Voice App
→(开会切图)TalkTogether → Zoom 的 AudioRecord
| 层级 | 内容 |
|---|---|
| ARM · Android | App、Flinger、HAL、Event Proxy |
| HiFi5 | 实时 AWE + WWE |
| ALSA / 硬件 | 喇叭、麦、LoopBack |
开发视角的逐通路拆解见 专栏③:事件与 PCM 分流、多路 Record、AEC Ref。
五、专栏目录
| 篇 | 内容 |
|---|---|
| ①(本文) | 能力划分与整机拼法 |
| ② | 官方 TalkToSampleApp:TalkTo 挂 WWE |
| ③ | TV 产品:Android + HiFi5 |
| ④ | 远场唤醒 / Zoom / 遥控三条路径 |
| ⑤ | ARM 集成与落地清单 |
小结
- 本方案 = DSPC(EQ + TalkTo + TalkTogether)+ Sensory WWE。
- EQ 管播放;TalkTo 管远场前端;TalkTogether 管会议;WWE 挂在 TalkTo 出口。
下一篇:官方 TalkToSampleApp 挂法。
评论
还没有评论,来做第一个吧
读完了不评论,作者会以为你在沉思