报告编号QWEN3-TR-202505研发单位阿里巴巴通义实验室发布日期2025年5月开源协议Apache 2.0全系列商用免费摘要Qwen3 是通义实验室推出的第三代通用大模型家族分为稠密Dense全激活系列与MoE混合专家稀疏两大架构基于36万亿Token多语言高质量语料完成三阶段分层预训练。核心创新为Hybrid Thinking 统一双推理模式单模型原生支持深度思维链推理/极速轻量化应答自由切换MoE架构实现“超大总参、低激活算力”兼顾旗舰级推理精度与线上推理成本统一支持128K原生上下文、119种语言、原生Function Calling、标准化结构化JSON输出。全系覆盖0.6B~235B参数档位适配端侧、本地私有化、云端API、多模态全业务场景在数学、代码、长文档、智能体四大基准任务达到同期开源模型第一梯队水平。一、模型家族整体规格体系1.1 稠密Dense系列全参数激活部署简单、稳定性强稠密模型每轮推理激活全部网络参数无路由调度开销适合边缘设备、中小算力单卡部署、高并发简单问答场景。模型型号总参数量网络层数注意力头原生上下文窗口适用场景Qwen3-0.6B0.6B2816/832K手机端侧、文本分类、标签抽取Qwen3-1.7B1.7B3632/832K轻量化客服、短句翻译Qwen3-4B4B3632/8128KRAG知识库、简单脚本生成Qwen3-8B8B4040/8128K通用文案、小型AgentQwen3-14B14B4856/8128K企业通用业务、中等复杂度代码Qwen3-32B32B6464/8128K合同审查、复杂方案、工程代码1.2 MoE混合专家稀疏系列大能力、低推理开销无共享专家设计单Token动态路由激活8个专家采用全局批次负载均衡损失优化专家专业化分工大幅降低推理显存与延迟。模型型号总参数量单次激活参数专家总数原生上下文核心定位Qwen3-30B-A3B30.5B3.3B128128K中小企业性价比旗舰单卡可跑Qwen3-235B-A22B235B22B128128K全系列旗舰对标国际闭源大模型1.3 垂直衍生专用模型Qwen3-Coder代码专项微调版本强化多工程语言、跨文件项目开发、报错自动修复Qwen3-Omni多模态统一底座文本/图像/音频一体化支持40分钟长音频解析Qwen3-Instruct 指令对齐版面向对话API、提示词工程、工具调用场景优化。二、底层Transformer基础架构优化Qwen3 基于改良版标准Transformer Decoder-only架构在Qwen2.5基础上完成多项工程级稳定优化统一稠密/MoE基础组件。2.1 基础标准化组件位置编码RoPE旋转位置编码支持YaRN上下文无损扩展原生128K可无损扩至1M Token归一化方案Pre-Norm RMSNorm移除QKV Bias新增QK-Norm稳定超大模型训练梯度注意力机制GQA分组查询注意力平衡推理速度与长文本捕捉能力前馈网络SwiGLU激活函数提升复杂语义、数学逻辑拟合能力分词Tokenizer统一多语言词表覆盖119种语言中英混排、代码符号分词歧义大幅降低。2.2 MoE专属架构设计要点移除前代共享专家模块全部能力由独立专家承载路由规则每个输入Token固定激活Top-8专家负载均衡全局Batch均衡损失避免部分专家闲置、部分过载路由轻量化低开销线性路由层不额外增加推理延迟。三、三阶段分层预训练体系总预训练语料规模36万亿高质量Token分为三个递进训练阶段逐层提升通用能力、推理能力、长文本能力。阶段S1通用基础训练30T Token序列长度4096语料构成全网通用文本、百科、书籍、新闻、多语言基础语料训练目标学习基础语法、世界常识、跨语言语义对齐输出底座具备完整基础读写、翻译、问答能力的原始Base模型。阶段S2推理强化训练5T STEM/代码高质量Token序列长度4096增量引入海量数学、物理、工程、编程、逻辑合成推理数据加速学习率衰减精细优化梯度更新策略核心收益大幅提升计算、代码、多步骤逻辑推导原生能力为Hybrid Thinking机制提供数据基础。阶段S3超长上下文扩展训练长文本专项语料序列32K输入打包序列提升至32768 Token加载合同、完整代码库、长篇报告、全量日志优化长距离注意力衰减问题缓解“上下文遗忘”完成后原生支持128K上下文窗口可一次性处理40万汉字完整文档。四、核心创新Hybrid Thinking 双模统一推理机制本模型区别于前代、同类开源模型的标志性技术创新单模型内置两套推理路径无需切换权重即可动态切换模式。4.1 两种推理模式定义模式1思考模式 enable_thinking true深度推理触发逻辑模型自动生成完整CoT思维链分步推导过程输出...推理中间步骤资源开销Token消耗提升约40%推理延迟增加适用任务数学证明、代码排错、合同风险分析、系统架构推演、多步骤复杂计算配套控制参数thinking_budget可限制最大推理Token长度精细平衡算力与精度。模式2极速模式 enable_thinking false快速应答触发逻辑跳过中间推导步骤直接输出最终结论资源收益响应速度提升30%以上Token成本显著降低适用任务翻译、摘要、标签提取、短视频文案、简单客服问答。4.2 双模训练实现方案预训练S2阶段混入双模式对照样本SFT监督微调阶段同步标注“思考/非思考”两类对话样本DPO人类偏好对齐区分两类输出偏好模型可通过指令/API参数自由切换对话内支持动态切换一轮对话前半段深度推理后半段极速输出无需重置会话。五、监督微调与人类对齐SFT DPO5.1 两阶段指令微调流程SFT监督微调构建千万级多格式指令样本覆盖结构化输出、工具调用、长文档分析、代码生成、多语言对话统一使用|im_start|/|im_end|标准对话模板训练强化角色区分、指令跟随、格式遵守能力。标准对话模板固定结构|im_start|system 全局角色、约束、输出格式规则 |im_end| |im_start|user 用户任务、原始素材、需求 |im_end| |im_start|assistant云端DashScope API自动封装标记用户仅需传入messages数组。DPO直接偏好优化替代传统RLHF采用轻量化DPO对齐方案无需独立奖励模型训练效率更高构建成对偏好样本区分深度推理输出vs极简快速输出标准结构化JSON输出vs自由无格式文本严谨无幻觉回答vs编造虚构内容对齐后大幅降低模型幻觉、提升格式约束遵守度、统一输出风格。5.2 对齐核心能力增益严格遵循提示词内逐条约束长提示词后半段规则丢失问题显著缓解原生适配JSON Schema输出配合response_format接口参数几乎无语法错误Function Calling工具调用准确率最高可达91.3%安全边界、价值观阈值均衡兼顾指令执行度与合规性。六、五大核心技术能力与量化评测6.1 超长上下文理解原生128K Token窗口YaRN无损扩展至1M Token长文档尾部信息召回率较Qwen2.5提升27%支持一次性解析完整年报、数万行代码仓库、全量运维日志。6.2 119种多语言处理能力36T多语言预训练语料低资源小语种数据占比18%支持119门语言与方言互译、跨语言问答、中英混排专业文档处理低资源语种指令跟随能力较前代提升40%。6.3 代码生成专项能力Qwen3-Coder支持Python/Java/Go/JS/SQL/Rust等全主流编程语言在LiveCodeBench、CodeForces评测领先同期开源模型可生成完整多文件工程代码、接口异常捕获、批量自动化脚本、数据库性能优化方案。6.4 原生Function Calling智能体能力内置标准化工具调用协议MCP可自主识别是否需要调用外部API、数据库、搜索引擎、计算器自动生成规范入参JSON支持多工具串行/并行调用适配知识库RAG、企业自动化Agent系统。6.5 结构化输出生产级稳定性API侧支持response_format{type:json_object}强制JSON输出提示词明确字段定义后极少出现多余描述、markdown包裹、语法缺失稳定输出Markdown多级表格、有序列表、标准代码块降低业务文本清洗成本。6.6 权威基准测试核心指标Qwen3-235B-A22B数学推理AIME’25 81.5分、GSM8K 92.4分代码能力LiveCodeBench v5 70.7分、CodeForces 2056分多语言MT-Bench多语言子集83.53通用综合MMLU87.48分整体指标对标国际主流闭源大模型显著超越同参数量开源竞品。七、推理工程优化与部署适配7.1 量化压缩支持全系原生支持4bit/8bit GPTQ/AWQ量化量化后精度衰减控制在3%以内单卡消费级GPURTX4090/A10可部署8B/14B稠密、30B-A3B MoE模型。7.2 多端部署方案云端APIDashScope/阿里云百炼兼容OpenAI标准接口格式支持流式输出、批量调用、思考模式参数控制、JSON强制输出按量计费提供免费测试额度。PaaS托管部署PAI平台权重私有化存储弹性扩缩容支持自定义微调、私有知识库接入适合中大型企业合规场景。本地私有化部署权重开源发布于ModelScope、Hugging Face支持单机/多卡分布式推理、vLLM加速、连续批处理PagedAttention大幅提升高并发吞吐。端侧轻量化0.6B/1.7B量化版本适配手机、嵌入式边缘设备离线本地推理无网络依赖。7.3 推理加速特性PagedAttention分页注意力大幅降低KV Cache显存占用MoE路由并行调度专家计算多流并行连续批处理、动态批大小提升线上QPS流式SSE输出适配对话实时交互场景。八、提示词工程底层适配规范基于模型训练偏好给出官方最优提示词编写标准最大化发挥Qwen3性能强制区分System全局系统提示角色、全局约束、输出格式统一放入头部system区块不混入用户消息任务前置、约束条目化核心需求放在提示词最前端限制、禁令使用列表逐条罗列缓解长文本注意力衰减素材与指令隔离原始文本、日志、表格、代码使用三重反引号 包裹消除分词歧义复杂格式任务补充1~2组Few-Shot样例4B/8B小模型必须搭配样例32B/MoE大模型复杂JSON/报表任务推荐携带示例推理任务配套思考开关数学、代码、架构分析添加分步推导指令同步开启enable_thinking:true输出末尾增加自查兜底约束抑制幻觉、多余文本。九、模型局限与后续迭代方向9.1 当前版本局限性MoE模型存在路由随机波动极端超长输入下少量专家分配不均极小0.6B模型复杂逻辑、长格式跟随能力弱于14B/32B稠密极小众专业细分领域古生物、精密化工深度专业知识覆盖有限需搭配领域微调/RAG。9.2 后续迭代规划Qwen3-Next混合注意力、更高稀疏度MoE、多Token预测加速推理上下文扩展至2M Token长距离依赖精度进一步提升Omni多模态增强视频时序理解、长语音对话轻量化蒸馏小模型端侧推理速度翻倍。十、总结Qwen3 作为通义实验室第三代通用大模型底座通过Hybrid Thinking双模推理、低开销MoE稀疏架构、三阶段分层预训练、DPO轻量化对齐四大核心技术突破解决了传统大模型“推理强则成本高、速度快则精度差”的固有矛盾。全系列完整覆盖端侧、本地私有化、云端API全算力档位统一具备超长上下文、百种多语言、代码生成、智能体工具调用、结构化生产输出能力Apache 2.0开源协议降低企业商用落地门槛。在数学、代码、长文档、多语言等核心评测达到开源模型第一梯队是面向开发者、政企私有化部署、AI应用开发的通用高性能LLM底座。