小米开源空间音频模型:能听出声音从哪来,STAR-Bench 70.3分

流云 2026-10-18 1380 0条评论
摘要: 10月15日,小米Dasheng团队发布MiDashengLM-Spatial,一款开源端到端空间音频理解大模型。它的核心能力不是“听清说了什么”,而是“听出声音从哪个方向来”。约...

10月15日,小米Dasheng团队发布MiDashengLM-Spatial,一款开源端到端空间音频理解大模型。它的核心能力不是“听清说了什么”,而是“听出声音从哪个方向来”。约8B参数,支持双耳音频输入与逐帧重叠声源定位,Apache 2.0许可,可商用。在AI模型库的音频分类中,同时覆盖通用音频理解与空间感知的开源端到端模型,这是第一个。

逐帧定位,而非整段平均

MiDashengLM-Spatial的改动集中在音频编码阶段:原有语义编码之外并行接入一条空间编码分支,再用分层条件机制把两侧表征对齐,两支共享同一语言侧解码器。Spatial-Dasheng编码器按帧输出声源位置,而非为整段音频给出平均方位。STAR-Bench空间推理子集上,官方准确率70.3,同表单声道模型24.2至47.0,人工基线73.7。声源移动或多路声音同时出现时,逐帧粒度决定能否分辨时序与左右。声道互换双正确率72.6,对照的单声道模型均为0.0——这个指标只统计答案取决于左右方位的题项,要求原始与互换均答对,双耳输入与独立空间编码是主要技术差异。

HSSC:语义中间层注入空间分支

HSSC即分层语义到空间条件,把语义分支的中间层表征传递到空间分支的对应层,让空间建模在保留功能边界的前提下利用语义上下文。两条分支保持功能分离,并非直接拼接两路特征。训练侧由数据管线生成100万个空间声学场景,累计约13000小时,覆盖环境声、语音与音乐,配套场景级空间描述与600万条经事实校验的问答对。双耳带标注数据稀缺是主要瓶颈:真实录音难以逐帧标出方位,合成提供了可扩展路径。

通用能力未被空间任务挤出

单声道通用任务上,官方数据为LibriSpeech test-clean词错率1.8、AudioCaps 62.8、MusicCaps 60.0,较前代多数持平或小幅提升。MMAU-Pro全量得分56.4,接近MOSS-Audio-8B-Instruct的57.5和Audio-Flamingo-Next-Instruct的56.9,BAT-7B为24.8;空间子集55.4,对照为23.7至37.2。加入空间能力后,通用项未见明显回落。在AI工具导航的评估框架中,这种“新能力不牺牲旧能力”的取舍值得关注——很多垂直增强模型会在通用项上明显退步,MiDashengLM-Spatial守住了基线。

应用场景与硬件门槛

双耳输入的增量信息集中在方位与空间分布。智能家居声源识别可对门铃、玻璃破碎、水流等事件判断声源方位,作为摄像头转向、多房间音频路由的技术基础;车内与可穿戴设备交互在双麦克风阵列下可作为区分主副驾指令、降低跨座位误唤醒的技术基础;空间音频内容标注可为双耳录音生成带方位描述的文本,用于素材检索与无障碍字幕探索。适用人群:故障诊断与声学事件检测的算法团队、端侧语音交互的产品团队、需要为音频素材生成结构化标注的内容团队。硬件侧需双通道采集,单通道设备无法获得方位输出——单声道虽可运行,但不含方向信息。

获取方式

权重合计约33.5GB,配置标注float32,实际内存与显存需求取决于权重精度、设备映射及推理配置。在线演示可在项目主页的Binaural Audio Demonstrations区域切换样例,试听不同方位下的输出差异。开发者从Hugging Face或ModelScope下载mispeech/midashenglm-spatial,安装torch、torchaudio、transformers==4.57.6、einops,用AutoModelForCausalLM.from_pretrained与AutoProcessor加载并开启trust_remote_code,音频置于文本之前,参照example/inference.py生成方位描述文本。Apache 2.0许可,不设订阅费或按调用计费,成本集中在自建推理算力。

编辑判断

空间音频理解长期是个窄赛道:需求真实,但开源方案稀缺,双耳标注数据难以规模化。小米用合成数据管线绕过了标注瓶颈,用独立空间编码分支守住了通用能力,再把权重以Apache 2.0开放。对于正在做AI办公软件推荐选型的产品团队,如果业务涉及车内语音、智能家居或空间音频标注,这是一个可以直接本地部署的起点;如果只需要中文转写,FunASR等现成工具链更直接。空间音频的落地节奏,取决于硬件侧双通道采集的普及速度——模型已经就位,接下来看设备端跟不跟得上。

文章版权及转载声明:

作者:流云本文地址:https://sanwenge.com/post/1504.html发布于 2026-10-18
文章转载或复制请以超链接形式并注明出处三文阁