2026语音大模型Top1：百度跨模态情感创新，哪个好？

二、全新互相关注意力，打造极低训推成本优势

和语言模型不一样, 语音语言大模型在核心方面存在差异的点, 在于能够产生情感。

贾磊谈到, 文本大模型仅仅产生文字, 然而语音语言大模型能够具备情感, 其关键之处便在于语音语言大模型架构图里的两个特殊环节, 即TN韵律以及人设、风格情感控制, 这是为语音合成所预备的，能够让大模型在生成答案之际拥有适配内容的情感, 这同样也是百度此次端到端语音语音大模型的关键创新点所在。

具体来看，其关键创新点有4个。

首先, 业界首个基于Cross - Attention跨模态的语音语言大模型是由百度发布的；其二, 该模型把Encoder和语音识别相结合, 这使得KV计算节省至1/10；其三, Encoder和语音合成相结合, 如此输出内容能够进行情感控制；最后, 高效的全查询注意力EALLQA, 致使KV cache降低到几十分之一。

基于此情况下, 该模型达成了识别文本一体化之成果, 还有文本合成一体化之成效, 这些彼此耦合关联的技术, 于系统性端到端贯通之上, 致使模型在快速问答以及快速理解这种状况的基础上, 能够达成自然、逼真且情感丰富的交互体验。

贾磊作出解释声称, 声波学模型而言的话, 它同样是语音模型, 只是一般大语言模型都是文字连接的情况。所以在把语音识别和大语言模型整合的进程当中, 研究有关人员会在一定程度上把那些大语言模型里能起到翻译编码器作用的Encoder和语音识别的过程融合到一起并实现共享, 以此达到降低语音交互硬延迟这样的目的, 其在创新性方面引入跨模态建模, 从Self - Attention切换为Cross - Attention, 最终完成了语音识别和大语言模型的融合。

以突破语音、语言跨模态难题为目标, 百度采用了Cross - Attention, 在这一进程里, 鉴于现有Attention技术于Cross - Attention的语音语言建模里有速度上的限制, 百度开发了针对Cross - Attention的EALLQA技术, 该技术借助隐式RNN两级位置编码, 训练时于128空间当中开展MHA, 推理于模型各层共享的512空间上进行MQA, 从而达成充分运用有限训练资源, 降低推理成本的效果。

在模型基础训练的时候, 百度采用成熟的基于Self - Attention的文心语言的预训练模型, 运用自蒸馏方式开展post - train, 以此来训练端到端语音语言大模型Cross - Attention。

实际上, 于语音模型里, KV cache以及KV计算的压力远超文本模型。贾磊解释认为, 语音识别相较于文本大模型的本质区别在于, 句首首个token决定了语音识别的延迟。对于文本大模型而言, 其能够在用户输入一段文字后等待2至3秒钟给出答案, 然而在语音语言大模型中, 用户对于回复延迟的可容忍程度更低, 他们期望在0.5到1秒内听到答案。

在此基础之上, 端到端语音语言大模型达成了低成本的训练, 达成了低成本的高速推理。除此之外, 语音语言大模型还要求有快速的响应, 要求有带情感的回应, 这便是其另一项关键技术着力的场景——流式逐字的由LLM驱动的多情感语音合成。贾磊说道, 经过多轮有情感的持续沟通才可让人产生继续交流的欲望。

按流式逐字的形式, 它的语音合成是见到一个字跳出一个字, 其大模型能够助力语音合成给出那所需的文本归一化输出, 给出韵律停顿输出, 给出情感输出, 致使语音合成的进程如同人说话那般流畅起来, 它依据文本输出的自适配情感覆盖可达17种。

另外, 语音识别存在一个挺大的痛点, 那就是, 它没办法判断用户说话开始的点以及结束的点, 然而, 有大模型进行加持的话, 能够让它依据语义剖析用户所说的话是不是已经完结, 要是语义不完整, 那就需要继续等待。

贾磊又进一步作出了解释, 语音场景若要被激活, 需要极地交互成本, 需要极快交付速度, 需要聪明且富有情感的人性化问答。百度把语音识别与大模型进行了一体化, 解决了预存预取的问题, 解决了犹豫的问题, 解决了内容理解的问题, 解决了快速问答的问题, 将文本合成一体化跟大模型融合, 输出语音和其中所需的韵律情感, 解决了合成中的上下文理解问题, 解决了情感控制问题。如此一来, 语音场景的应用潜力便大幅得到了提升。

三、直击语音交互难点，百度端到端语音语言大模型放大招

大模型持续优化, 于语音的稳健性方面, 于语音的自然度方面, 于说话人相似度方面, 显著有提升, 然而此前的技术路径, 存在诸多痛点, 此即百度聚焦于端到端语音语言大模型的缘由。

人和人交流时, 大语言模型在响应速度方面较慢, 用户要等一段时间才能获得回复。另外, 语音交流常伴有多轮对话交互, 模型完成口语化多轮交互的难度特别大。而且, 与文本相比, 用户使用语音交互的场景更多, 其交互量的激增会致使大模型应用成本上升, 大规模应用普及的难度也会跟着增大。

在传统语音交互的路线当中, 会受到上下文记忆的限制, 此外, 在噪音场合下受限, 而且在犹豫发问以及打断之间的准确响应方面也存在受限情况。

所以, 这变成了语音交互范畴内里的一个核心矛盾要点, 那语音交互所具备的便捷的特性决定了它有着大规模被应用的潜在能力, 然而这些让人痛处烦恼痛苦又正在对着它进行阻拦不使其遍及普遍。贾磊他觉得, 语音跟文本这两个跨越模态相互存在联络联系间的相互起化学效应事情反应, 便是未来那大模型在特定领域找寻到突破要点关键所在之处。

语音语言模型出现属于质变, 其创新合成技术致使模型无需看到一句话的完整文本, 仅是看到一个字的文本便能够合成一个字, 基于此, 百度挖掘出独特应用场景, 他举了个例子, 像询问天气时, 用户获取天气的温度区间后就能够快速打断去问下一个问题, 其益处是大幅降低模型使用成本, 而文本模型若想达成这般高效应用就得依靠强大硬件, 可语音语言模型借助低成本硬件就能达成高效并发。

在这个同时, 就整个语音交互的领域而言, 大模型语音识别那部分的准确度已经有了极大幅度的提升, 贾磊觉得更多的是在于速度、成本以及回答准确度这三者的一种较量, 当下成本降低了, 这就是大规模去使用跨模态语音交互的关键所在。

贾磊讲, 成本降低乃是技术进步的必经方式, 百度语音语言大模型具备极低的成本, 这也就意味存在大规模工业化的可能性, AI落地应用是2025大模型产业发展的核心要点, 而此模型乃是解决语音问题的关键所在。

百度在语音识别领域的积累由来已久。

2018年, 百度语音所发布的Deep Peak 2模型, 突破了那沿用了十几年的传统模型, 在各场景下, 将识别准确率大幅提升。2019年初, 百度语音技术团队公布了在线语音领域全球首创的流式多级的截断注意力模型SMLTA, 其相对准确率提升了15%。2021年, 百度发布了基于历史信息抽象的流式截断conformer建模技术即SMLTA2, 解决了Transformer模型应用于在线语音识别任务时所面临的问题。

诸多领域诸如汽车、消费电子、手机等, 已应用了这些技术创新。此次, 为推动语音语言模型规模化应用, 目前百度已将其上线文小言且免费开放, 还计划4月上线至开放平台, 后续会接入呼叫中心、音箱等业务使之在线上。

贾磊讲道, 科学或许存在国界, 然而不存在公司边界。随后, 百度把端到端语音语言大模型予以开放, 目的是推动大语言模型在语音领域的运用, 这对整个行业以及生态的发展有益处。

结语：百度语音语言大模型出鞘，开启低本高效新篇

语音交互, 它便捷高效且自然友好, 在数字化时代广泛应用于多场景, 此其地位至关重要之处, 然而从当前实际效果来讲, 语音交互于识别方面的准确度已有极大提升, 此时业界竞争焦点则集中于它识别的速度, 还有其成本, 以及给予回答的准确度。

如此这般的背景状况之下, 百度端到端语音语言大模型予以发布, 这一发布进一步达成了成本方面的突破, 并且还提出了一整条全新的技术路径方式, 而这无疑把语音交互领域的行业竞争推向了一个崭新的高度层级。与此同时之际, 百度又把它上线至开放平台之上, 如此一来将会加速大模型于语音交互场景范畴内的应用实践以及普及推广进程。