热点资讯女神 调教 迁徙DeepSeek-R1同款算法，小米让7B模子登顶音频通晓推断MMAU榜单
允中 发自 凹非寺量子位 | 公众号 QbitAI女神 调教
7B小模子+3.8万条现实数据，就能让音频通晓和推断评测基准MMAU榜单王座易主？
受到DeepSeek-R1中强化学习算法的启发，小米大模子团队对阿里的Qwen2-Audio-7B模子进行了微调。
文爱社区适度模子在MMAU上的准确率从49.2%提高到了64.5%（涨幅31%），比昔时霸榜的GPT-4o还最初近10个百分点。
MMAU是一个由一万条涵盖语音、环境声和音乐的音频样本组成的评测基准，难度相配高，东说念主类大师的得益为82.2%。
来自阿里的Qwen2-Audio-7B模子在此评测集上的准确率为49.2%，经小米大模子团队用清华大学发布的AVQA数据集，使用SFT微调后提高到了51.8%。
这么的提高并不显着，而当小米团队礼聘改用DeepSeek-R1的GRPO算法时，发现取得了巨大的性能提高，一举达到了MMAU的新SOTA。
现在，小米大模子团队仍是把现实代码、模子参数开源，并提供了技艺叙述、在线Demo。
7B小模子拿下MMAU榜单SOTA
如前所述，小米大模子团队通过SFT，使用清华AVQA数据集对礼聘了来自阿里的Qwen2-Audio-7B进行了微调，得益提高了2.6个百分点。
直到DeepSeek-R1的发布，为小米在该项任务上的辩论带来了启发。
DeepSeek-R1的Group Relative Policy Optimization（GRPO）规律，让模子仅通过”试错-奖励”机制就能使自主进化，闪现出通常东说念主类的反念念、多步考证等推理才调。
在磨灭时辰，卡内基梅隆大学发布的预印本论文（arxiv：2503.01067），通过小巧的实验得出了一个理由的论断：
当任务存在显着的生成-考证差距（Generation-Verification Gap），即任务生成适度的难度稠密于考证适度正确性的难度时，强化学习比起有监督微调具有私有上风。
而AQA任务，碰劲是竣工的生成-考证差距权贵的任务。
离线微调规律，如SFT，有点像背题库，你只可凭据已有的题目和谜底现实，但际遇新题可能不会作念；
而强化学习规律，如GRPO，像憨厚在条目你多想几个谜底，然后憨厚告诉你哪一个谜底好，让你主动念念考，引发出本身的才调，而不是被“填鸭式”造就。
虽然，若是现实量满盈，比如有学生快意花好多年的时辰来死记硬背题库，也许最终也能达到可以的服从，但服从太低，奢侈太多时辰。
而主动念念考，更容易快速地达到举一反三的服从。强化学习的及时响应可能会匡助模子更快锁定高质料谜底的分裂区域，而离线规律需要遍历通盘这个词可能性空间，服从要低得多。
基于上述知悉，小米尝试将DeepSeek-R1的GRPO算法迁徙到Qwen2-Audio-7B模子上。
令东说念主惊喜的是，在仅使用AVQA的3.8万条现实样本的情况下，强化学习微调后的模子在MMAU评测集上结束了64.5%的准确率，这一得益比现在榜单上第别称的生意闭源模子GPT-4o有近10个百分点的上风。
理由的是，若是在现实中强制条目模子输出包含thinking标签的推理经逾期，准确率反而下落至61.1%。这说显着式的念念维链适度输出可能并不利于模子的现实。
小米大模子团队的实验揭示了几个和传统剖析不同的论断：
对于微调规律：强化学习在3.8万条数据集上的说明，权贵超越监督学习在57万条数据集上的适度；对于参数范围：比拟千亿级模子，7B参数的模子通过强化学习也可展现强推理才调；对于隐式推理：显式念念维链输出反而成为性能瓶颈。尽管现时准确率已冲破64%，但距离东说念主类大师82%的水平仍有差距。
小米大模子团队默示，在现时的实验中，强化学习战术照旧比较精真金不怕火，现实经过对念念维链的开发并不充分，咱们会在后续作念进一步探索。
这次实验考证了强化学习在音频通晓和判断界限的私有价值，也为后续辩论翻开了一扇新的大门。
小米团队期待，当机器不仅能“听见”声息，还能“听懂”声息背后的因果逻辑时，真实的智能听觉期间将会降临。
东说念主类大师准确率82.23%
MMAU（Massive Multi-Task Audio Understanding and Reasoning）评测集由好意思国马里兰大学和Adobe的辩论东说念主员于昨年连合建议，是音频通晓和推断才调的量化标尺。
它通过一万条涵盖语音、环境声和音乐的音频样本，联结东说念主类大师标注的问答对，测试模子在27种妙技，如跨场景推理、专科常识等愚弄上的说明，盼愿模子达到接近东说念主类大师的逻辑分析水平。
濒临一段汽车行驶中的座舱灌音，AI 能否判断出汽车是否存在潜在的故障？在交响乐上演现场，AI 能否揣摸出作曲家创造这首音乐时的情怀？在早岑岭地铁站错乱的脚步声潮中，AI 能否预判闸机口可能发生的冲撞风险？
在大模子期间，东说念主们仍是不知足于机器只是识别语言的骨子、声息的种类，更盼愿机用具备复杂的通晓和判断才调，MMAU估量的等于这种才调。
这是一个很难的评测集，看成基准上限，东说念主类大师在MMAU上的准确率为82.23%。
现在MMAU官网榜单上说明最佳的模子是GPT-4o，准确率为57.3%。紧随自后的是谷歌的Gemini 2.0 Flash，准确率为55.6%。
现实代码：https://github.com/xiaomi-research/r1-aqa模子参数：https://huggingface.co/mispeech/r1-aqa技艺叙述：https://arxiv.org/abs/2503.11197交互Demo：http://120.48.108.147:7860/女神 调教