2026年APP大模型搜索优化Top1：阿里玄铁RISC-V评价炸裂

7月18日, 第五届RISC-V中国峰会于上海步入分论坛阶段, 人工智能作为未来电子产业极为庞大的应用领域之一, 是难以避开的话题, 人工智能迅猛发展, 正凭借年均超100%的算力需求增长来驱动底层架构的变革, “开放、灵活、可定制”的RISC-V已然成为构建自主AI算力基石的战略要点。人工智能分论坛向各方企业发出邀请, 探讨RISC-V架构怎样凭借其开源、开放、可扩展的特性, 达成AI计算架构的革新, 另外探讨RISC-V架构在AI软硬件的最新进展状况, 以及应用落地情形。

现场分享玄铁 AI 大模型部署优化实践的是阿里巴巴达摩院高级开发工程师徐鹏, 玄铁团队身为国内高性能 RISC-V 处理器 IP 开发的先锋, 始终引领着国内 RISC-V 架构在 AI 应用部署技术前沿, 徐鹏介绍说, 到 2025 年 3 月底时, “魔搭社区”开源数量超过 5.2 万个, 与此同时“千问模型家族”及其衍生模型数量超过 10 万家, 不但传统模型数量众多, 大模型在各行各业也出现了一些定制化需求。玄铁正积极促使Vector和AME向前推进, 当下RISC-V社区里的Vector已然就绪, AME也处于快速推进的进程中, 鉴于上述业务需求及更新情况, 这对上层软件栈提出了更高要求。

就玄铁处理器AI能力的演进而言, 早在2019年玄铁便开启了Vector0.7.1的研发, 随后是Vector1.0, 紧接着是大位宽的PyTorch以及AME单元, 近期玄铁又更新了第二代AME单元。玄铁在硬件方面持续推进PyTorch和AME加速单元的发展, 以提升计算能力，补充数据类型支持, 实现特殊操作函数加速, 并针对性地强化LLM场景。下图展示的是与玄铁相关的业务需求以及硬件生态, 还有玄铁AI部署工具集HHB。玄铁AI工具集含有三个层次, 其中有HHB AICompiler, 还有HHB-onnxruntime, 另外还有HHB-XTorch。

玄铁的另外一项关键工作是PyTorch扩展, 做好PyTorch的支持, 其一能让用户毫无阻碍地切换至RISC-V硬件, 其二可复用PyTorch现已成熟的软件生态, 进而拓展RISC-V的AI能力。具体到玄铁XTorch这儿, 玄铁针对大模型、MoE模型给出系列算子融合, 端到端性能提高了11.2%。同时在这个层面也便于用户部署, 提供了具备大模型良好能力的一些主流优质算法。AWQ、GPTQ等等, 同样给出q80这类多粒度、多精度的量化能力支撑。实际瞧一瞧XTorch怎样加快超大智能模型运算的。紧接着的这幅图作为具有代表性的一个借助Transformer实施超大智能模式推想考量模式实例 一个使用范式中的典型。在最为简易的流程状况下, 我们仅仅需要添入两行相应的计算机程序指令也就是代码来使能XTorch便能够达成最大纯粹性原生的PyTorch运算速度提升。靠右手那边呈现的是XTorch内部的一些工作环节状况, 比如针对MoE的算子结合, 另外还有其他的某些一般性常规算子实现集合汇聚以及模型进行优化的能力。

第三个工作发展情形是玄铁运行时引擎以及玄铁算子库, 玄铁NN库对静态图与动态图的推理予以支持, 针对现时大模型内所需运用的FP8、FP4等多种数据类型、新型数据类型开展一些量化推理, 在计算任务进入玄铁NN运行后, 会把整个计算任务拆解成一个个算子任务去施行适合于在单个核心上运算的操作, 玄铁借由线程间的负载均衡来达成极致的多核推理。与此同时, 玄铁于大模型推理进程里, 会把单个大模型计算任务视作同一计算流, 接着借助整体计算流全局态的分析, 最大限度运行硬件并行能力，借由One Graph推理方式让端到端性能提高20.5%。其底层会把Matrix和Vector抽象为流数据单元, 一次性安排好所有计算任务与通信任务, 相较于传统执行方式能更大程度消减硬件等待时间。

玄铁团队具备这样一种优势, 即为能够开展软硬件协同优化, 能够借助并行能力来加快Softmax计算, 硬件会依据需求分析, 进而最终形成了reduce dup系列指令, 最终形成Softmax, 并通过闭环加速实现了8倍提升。在Vector方面, 大模型所用到的编码会运用到sigmoid、sin的操作, 玄铁硬件会专门去进行函数加速。比如, sigmoid和silu算子都会有5倍的提升。就GEMM加速效果而言, 跟FP16比较时是一种情况, 跟竞品比较时加速效果提升了大概3倍。