阶跃星辰发布STEP3-VL-10B,开源SOTA!100亿参数模型超越千亿级巨头

前沿资讯 1768991673更新

1

导读:阶跃星辰刚刚开源了一款名为STEP3-VL-10B的视觉语言模型,仅用100亿参数,在多项权威基准测试中,不仅超越了GLM-4.6V(106B参数)和Qwen3-VL(235B参数),甚至还能与Gemini 2.5 Pro、Seed-1.5-VL等顶级闭源旗舰模型一较高下。更令人震惊的是,它在AIME数学竞赛测试中接近满分,在编程测试中遥遥领先。


阶跃星辰(StepFun)正式发布了STEP3-VL-10B,一款仅需100亿参数即达到业界领先性能的开源SOTA视觉语言模型。这款模型彻底颠覆了"参数越大越强"的传统认知,用实力证明了高质量数据和精妙架构才是制胜关键

官方数据显示,STEP3-VL-10B在多项权威基准测试中:MMMU、MathVision、MathVista等综合评测中,平均得分达到85.2分,与拥有235B参数的Qwen3-VL(84.1分)基本持平,甚至略微领先。更重要的是,它在AIME 2025数学竞赛测试中取得了94.4分的惊人成绩,接近满分水平,展现出精英级的推理能力。

为了更直观地展示STEP3-VL-10B的实力,我们来看一组对比数据:

平均基准测试得分(MMMU、MathVision、MathVista、MMBench中英双语):

  • Gemini 2.5 Pro:85.5分
  • Step3-VL-10B (PaCoRe):85.2分 ✅
  • Qwen3-VL (235B-A22B):84.1分
  • Seed-1.5-VL:83.5分
  • GLM-4.6V (106B-A12B):81.4分

没错,你没有看错!这款仅有10B参数的开源模型,在综合性能上已经能够与Gemini 2.5 Pro这样的顶级闭源旗舰模型掰手腕,更是将GLM-4.6V(106B-A12B)和Qwen3-VL(235B-A22B)等百亿级巨头甩在身后。

在具体细分领域,STEP3-VL-10B的表现更加亮眼:

  • 数学推理(AIME 2025):94.4分,远超Qwen3-VL-Thinking的83.6分和Gemini 2.5 Pro的84.0分
  • 编程能力(LiveCodeBench):76.43分,是GLM-4.6V-Flash(48.71分)的1.5倍以上
  • 2D/3D空间理解(BLINK/CVBench/OmniSpatial):全面击败同规模模型
  • 多模态理解(MMMU):80.1分,超越78.7分的Qwen3-VL-Thinking(235B-A22B)

那么,STEP3-VL-10B究竟是如何用100亿参数实现如此强大性能的呢?答案在于其三大核心创新

1. 超大规模预训练:1.2万亿tokens全参数训练

STEP3-VL-10B采用了单阶段、全参数解冻的预训练策略,总计使用1.2T tokens进行训练,相当于370K次迭代。通过900B + 300B两个阶段的渐进式训练,模型积累了海量的多模态知识。

2. 强化学习:超过1400次迭代

在强化学习阶段,团队进行了超过1400次RL迭代,包括:

  • 600次RLVR(基于结果的强化学习),覆盖数学、几何、物理、感知等任务
  • 300次RLHF(人类反馈强化学习),优化开放式生成能力
  • 500次PaCoRe训练,实现并行协调推理

3. 创新架构:PaCoRe技术实现动态资源分配

STEP3-VL-10B引入了创新的Parallel Coordinated Reasoning (PaCoRe) 技术,能够实现动态计算资源分配,让模型在处理复杂任务时更加高效灵活。这种架构设计让10B参数的小模型能够完成原本需要千亿参数才能胜任的推理任务。

STEP3-VL-10B用100亿参数证明了:规模并非一切,高质量数据和精妙架构才是制胜关键。复杂的多模态推理任务,现在可以在任何设备上轻松运行。

正如官方所说:"我们证明规模并非一切。凭借高质量的目标数据和系统化的后训练,100亿模型也能与业界巨头一较高下。"

目前,STEP3-VL-10B已经在HuggingFace、ModelScope、GitHub等平台开源,提供了基础版和思考版两个版本供开发者使用。官方主页还提供了详细的论文链接和技术文档。

官方资源:

  • 主页:https://stepfun-ai.github.io/Step3-VL-10B/
  • 论文:https://arxiv.org/abs/2601.09668
  • HuggingFace:https://huggingface.co/collections/stepfun-ai/step3-vl-10b
  • ModelScope:https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B


参考资料:https://stepfun-ai.github.io/Step3-VL-10B/