2月16日，阿里千问正式发布Qwen3.5，并推出Qwen3.5系列的第一款模型Qwen3.5-397B-A17B的开放权重版本。作为原生视觉-语言模型，Qwen3.5-397B-A17B在推理、编程、智能体能力与多模态理解等全方位基准评估中表现优异。该模型采用创新的混合架构，将线性注意力(Gated Delta Networks)与稀疏混合专家(MoE)相结合，实现出色的推理效率：总参数量达3970亿，每次前向传播仅激活170亿参数，在保持能力的同时优化速度与成本。将语言与方言支持从119种扩展至201种，为全球用户提供更广泛的可用性与更完善的支持。
据介绍，相对于Qwen3系列模型，Qwen3.5的Post-training性能提升主要来自于对各类RL任务和环境的全面扩展。更加强调RL环境的难度与可泛化性，而非针对特定指标或狭隘类别的query进行优化。
Qwen3.5通过异构基础设施实现高效的原生多模态训练：在视觉与语言组件上解耦并行策略，避免统一方案带来的低效。利用稀疏激活实现跨模块计算重叠，在混合文本-图像-视频数据上相比纯文本基线达到近100%的训练吞吐。在此基础上，原生FP8流水线对激活、MoE路由与GEMM运算采用低精度，并通过运行时监控在敏感层保持BF16，实现约50%的激活显存降低与超过10%的加速，并稳定扩展至数万亿token。
启天配资提示：文章来自网络，不代表本站观点。
相关文章
沪深京行情 实时轮播
热点资讯
