Beam 501B 全权重开源:它赢的不是分数,是账单

Reflection 把 501B 稀疏 MoE 的权重按 Apache 2.0 放了出来。真正值得看的不是它排第几,而是它怎么把「每 token 的智力」当成唯一 KPI:长度惩罚 RL、五档 reasoning effort、1.04 倍专家负载,以及一份 100M rollout 的异步策略梯度工程账。附硬件体积、API 价格矛盾点与三个自测动作。

一句话结论:Beam 不是最强的编程模型,它是第一个把「完成一个任务要花多少钱」当成核心指标做出来的开放权重模型。501B 总参数只激活 23B、RL 训练里加长度惩罚、推理强度分五档——三件事服务于同一个目标:砍 token 账单。代价是所有分数目前都是自报的,独立评测还没出来。


01 · 先把规格摆上桌

Reflection AI 2026-10-05 发布 Beam,10-16 把权重放到 Hugging Face,Apache 2.0,无附加条款。

项数值
架构稀疏 MoE,52 层(3 dense + 49 MoE)
参数501.3B 总 / 23.4B 激活(激活率 4.6%)
专家数256 个细粒度路由专家
注意力Gated GQA + 滑动窗口(局部/全局交错)
上下文1M tokens
词表152k,Chat Template 为改版 Harmony
模态纯文本(文本进、文本出)
精度BF16 / FP8 / NVFP4
知识截止2026-06-30
许可证Apache 2.0(不禁止蒸馏、不禁止用输出训模型)
语言以英文为主

名字的坑:搜"Beam"会撞上 Apache Beam(大数据流水线)和 beam search(解码算法)。查资料时加 Reflection 或 Beam 501B 才不会跑偏。

40B 激活的 GLM-5.2、32B 激活的 Kimi K2、37B 激活的 DeepSeek-V3 摆在一起,23B 这个激活数字本身就是宣言——同样的题,它打算少算一遍。


02 · 训练账:预算几乎全押在 RL 上

整条链路分四段,每一段的算力配比很能说明取舍:

2.1 预训练:稳,比快更值得记

  • 6,144 张 GB300 NVL72,端到端 不到 4 周跑完 23.8T tokens。
  • goodput 92.3%——真正用于产出最终模型的有效训练步,占墙钟时间的 92.3%。同级大规模训练里这是很硬的数字。
  • 全程只做了 9 次半自动回滚(rewind),触发原因是非确定性梯度范数尖峰和疑似 SDC(静默数据损坏)。
  • 自建拓扑感知 Kubernetes 调度器 + 节点生命周期监控 + SDC 检测,是这套「几乎不停机」的前提。

数据侧有个反直觉的细节值得记:常规清洗会淘汰约 95% 的原始互联网 token,但这个流程同时发现——有 1.8T 高质量 token 被常规技术误杀,其中 87% 是自筛的 web-code 数据,于是被专门捞了回来。「过滤太狠」和「过滤太松」是两个方向的损失,多数团队只盯后一个。

2.2 RL:这才是钱花得最多的地方

指标数值参照
GPU10,500 张 GB300与预训练同一量级
时长4 周—
Rollouts>100M(推理专家占 80M)Inkling 30M、MiMo 753K
沙箱总量约 13 亿(含评测与消融)峰值 17 万并发
环境池100 万个编码/Agent/STEM 环境—
RL 阶段上下文256K比最终的 1M 保守
峰值 vCPU883,006(占可分配 83%)23 个集群、GCP + AWS

推理集群与训练集群的 GPU 比例在 3.9:1 ~ 5.4:1 之间浮动,同一训练血统内换过 5 种 GPU mesh 配置而不丢状态。运行期间吞下 71 次推理事故没停训练,容量恢复中位 8 分钟,损失算力只占服务 GPU-分钟数的 0.02%。


03 · 最难的那一段:异步策略梯度

规模化 RL 的真正敌人不是算力,是 policy staleness(策略陈旧):一次 rollout 可能跑几十分钟,前面 token 由一个 checkpoint 生成,后面的由另一个,训练器更新时看到的是「混血轨迹」。陈旧度一高,梯度就发散了。

Beam 的处理方式:

  • 每个 token 打上生成它的权重版本号,算法显式处理陈旧度,而不是祈祷它别有影响。
  • 系统性压缩训练引擎与推理引擎之间的数值不匹配。
  • 实测可承受的极端情况:1 天陈旧度、落后当前策略 107 个权重版本,数值仍稳定。
  • 新权重从训练器到推理集群,中位 12 秒;跨机架走 RoCE 分层分发,跨机架流量降 75%。

这条比任何一个 benchmark 分数都更能说明 Reflection 的工程底子——能扛住 107 个版本陈旧的异步 RL,是少数实验室才有的能力。而它的直接产物,就是后面那套「省 token」的行为。


04 · 分数怎么读:它输在哪,别装看不见

先放最能说明问题的一张表(Reflection 自报,对比模型取自家博客 10-05 版):

基准BeamKimi K3DeepSeek V4.1 FlashGLM 5.3Qwen 3.8 Max
SWE-bench Verified80.9————
SWE Bench Pro v2-Hard77.288.2—84.3—
Terminal Bench v2.180.188.390.688.286.6
DeepSWE v1.143.368.074.261.051.0

读法:SWE-bench Verified 这一栏 Beam 能打,但到了更接近真实工程复杂度的 DeepSWE v1.1 和 Pro v2-Hard,差距是 20–30 个点。Terminal Bench 上它几乎全场垫底。Reflection 自己在发布文里也承认:Kimi K3 在裸能力上仍然领先,Beam 的优势在推理时效率。

4.1 一个被忽略的好消息:量化几乎不掉点

Model card 把三档精度分开列了,这是自部署方最该看的一行:

基准BF16FP8NVFP4
SWE-bench Verified81.680.280.7
SWE Bench Pro v2-Hard76.578.478.6
Terminal Bench v2.180.178.978.4
DeepSWE v1.143.343.042.7

NVFP4 相对 BF16,最差也只掉 1.7 个点,而权重体积从 933.81 GiB 砍到 273 GiB(下一节有账)。这几乎是在说:除非你在做评测,否则没理由不开量化。

4.2 引用时注意口径

同一批模型有两套数字:10-05 博客表(DeepSWE 44.4、SWE-bench Verified 80.9、Pro v2-Hard 77.2)和 10-16 model card(43.3 / 81.6 / 76.5),model card 注明 “Update 10/27/26”。写文章、做选型对比时以 model card 为准,博客表的数字已被官方更新覆盖。

另外 model card 未披露 pass@k 与采样次数,只给了 temp=0.7, top_p=0.99。对比表里 SWE Atlas Codebase QnA 一行的 GLM 5.3 / Kimi K3 数值与 DeepSWE v1.1 完全相同,疑似录入重复——引用需谨慎。


05 · 「省 token」的三层机制

这是全篇最实的一块。Reflection 声称同级得分下推理算力只用 1/3 到 1/4,机制可以拆成三层:

第一层|RL 里加长度惩罚。 奖励正确解,同时惩罚不必要的 token。结果是 RL 早期出现了一个反常现象——性能在涨,completion 长度在降。模型先学会「用更少的字解题」,等 agent 能力长起来之后长度才回升,但那时多出来的 token 是有产出的。这篇论文式的两阶段 Pareto:先向内收缩,再向外扩张。

第二层|reasoning effort 五档。 low / medium / high / xhigh / max,外加 preserve_thinking 让推理内容跨轮保留在上下文里。同一份权重,日常改 bug 用 low,架构重构用 max,成本曲线由调用方自己捏。

第三层|极致稀疏 + 均匀负载。 4.6% 激活率已经很激进,更狠的是负载均衡:采用 aux-loss-free 算法(DeepSeek 那套)并加了 expert-bias 更新的 cosine decay,再叠一层 sequence-level balancing。预训练结束时,最忙专家在各 MoE 层的平均负载只有 1.04 倍。这直接决定 MoE 部署的显存长尾——1.04 倍意味着不需要为「某个专家特别热」预留额外冗余。

5.1 但「省算力」这个数字有口径陷阱

Reflection 的效率估算方法是:

FLOPs ≈ 2 × 激活参数量 × 每次尝试的平均生成 token 数

并且明确排除了 prompt prefill、随上下文长度增长的 attention 计算,以及 serving 开销。

对聊天场景这没问题。对编程 Agent 恰恰是最失真的一块:喂 20 万 token 的仓库进去,prefill 和 attention 才是成本主力,而你省下的那 3 倍 output token 占比被稀释了。所以准确的说法是——

Beam 省的是生成端的算力,不是任务端的账单。任务越长、上下文越重,这个折扣打得越狠。

同理,token 效率也不等于质量:更短的推理,什么时候是真的高效,什么时候是把没做完的活藏起来了,只能靠独立评测回答,而独立评测目前还没有。


06 · 落地:硬件账与 API 账

6.1 权重体积

精度体积最低可用配置
BF16933.81 GiB需 8×H200(141GB)勉强,1M 上下文不够
FP8468.72 GiB8×H100 / H200 单机可跑
NVFP4273 GiB4×H200 量级

官方说法:量化版本可装在单台八卡服务器上,覆盖 H100 / H200 / GB300 配置。

⚠️ 这只是权重下限。1M 上下文的 KV cache 另算,实际生产部署留 1.5–2 倍显存冗余是常规做法。个人开发者基本无解——Ollama 上目前只有云端 tag,想本地跑起步 80GB 显存。

6.2 API 价格:两个数字打架,务必核对

来源输入缓存输入输出
Baseten 模型库页面(当前)$0.40$0.04$1.20
多家媒体转引(10-16 / 10-17)$1.30$4.30$0.13

两边对不上,而且输出价差了近 10 倍,转引版本里「缓存输入 $4.30 比输入 $1.30 还贵」本身就不合逻辑。做成本模型请以平台模型库实时页面为准,不要拿新闻稿里的数字算账。

按 Baseten 当前价粗算一次中等编程任务的输出成本:

假设计算结果
输入 100K、输出 40K tokens100K×$0.40/M + 40K×$1.20/M≈ $0.088 / 任务
同上但 90% 输入命中缓存100K 混合 + 40K 输出≈ $0.049 / 任务
若真如声称省 3× output token输出降到 13K≈ $0.023 / 任务

单次不到一毛钱。Agent 场景的真正成本从来不在单价,在重试次数和返工率——这也正是「省 token」主张最需要被验证的地方。


07 · 被低估的部分:Mirror CLI

权重放出来只解决「能不能用」,用起来顺不顺手靠 harness。Reflection 顺手把自己内部用的终端 Agent 也开源了,这个东西的设计比模型架构更值得抄。

关键设计决策只有一句:核心保持最小,让它同时充当干净的评测面。产品层的复杂度(prompt、技能、工具编排)全在 Python 侧,Rust 核心里只有「驱动模型」这一件事。所以通过 Mirror 跑出来的分数是可复现的——这在 agent harness 领域是个稀缺属性。

能力清单:

  • 可恢复会话、独立 worktree 里并行跑多个 agent
  • 项目指令、skills、MCP 连接、Python 扩展
  • 工具调用审批与过程观察,可随时介入 steer
  • 从内部用法继承来的 Slack / Linear / GitHub 集成,以及关掉笔记本 agent 继续跑的后台会话

Reflection 的原话是这些功能先为自己工程师做,看到生产力提升(尤其代码审核)之后才演化成开源工具。Beam 也是照着不同 harness 的脾气训出来的——Pi、OpenCode、Hermes 都测过。

生态侧 40+ 伙伴,day-0 支持 Transformers / vLLM / SGLang / Unsloth / Axolotl / TokenSpeed / NVIDIA Dynamo。上线平台从 AWS、Azure、GCP、Databricks、Cloudflare 一路到 Ollama、LM Studio、OpenRouter、Vercel。Dell 和 HPE 提供防火墙内与气隙环境交付——这一条对国内政企场景的意义,比榜单排名大得多。


08 · 谁该用,谁别碰

你的处境建议
要自建编程 Agent,且 GPU 在 8×H100/H200 以上值得试。Apache 2.0 + NVFP4 273 GiB,是当前最省显存的 500B 级底座
政企/涉密环境,必须私有化重点候选。Dell/HPE 气隙交付 + 全权重可微调
追求绝对最强编码能力别用。Kimi K3、DeepSeek V4.1 Flash 在硬指标上领先 10–30 个点
想拿它做中文为主的业务(图纸说明、国标条文、中文合同)先测再定。官方明确「以英文为主」,中文能力没有任何公开评测
只有一张 24G/48G 卡用 API。273 GiB 起,本地无解
需要确定性成本模型等独立评测。目前所有效率数字都是自报,且口径排除了 prefill

8.1 三个自测动作(约半天)

  1. 单仓理解:找一个 10k 文件的仓库,让它 summarize 模块依赖,人肉核对 20% 的结论。
  2. 单 diff 生成:给一个真实的 issue,只允许改一个文件,看它是否越界改别处。
  3. 一日 tool-call 链:跑一个多步任务,记录 总 token 数 / 重试次数 / 人工介入次数。第三个数才是决定它能不能进流水线的那个。

对照基准用自己的主力模型。若「长任务 token 消耗」降幅超过 8% 而成功率不掉,Beam 就值得进候选;若 token 降了、成功率也降了,那就是把活藏起来了。


09 · 三条冷思考

一、自报数据的窗口期还没过。 10-05 发布时权重未放,所有分数来自 Reflection;10-16 权重放出后,独立评测(Artificial Analysis、Arena 等已参与预发布测试)尚未形成公开横评。开源的意义之一就是让第三方能证伪——现在正是证伪期,别急着把它的数字写进你的技术选型文档。

二、token 效率是这个行业正在换的赛道。 过去两年比的是「谁的分数高」,接下来比的是「同样做完一件事,谁花的钱少」。Beam 押的是后者,且押得很干脆——它甚至不掩饰自己在裸能力上不是第一。这个姿态值得注意:当一个模型厂商开始公开承认「我不是最强」,通常意味着它找到了自己认为更有价值的战场。

三、工程能力比模型能力更难复制。 107 个权重版本的陈旧度、92.3% 的 goodput、9 次回滚、12 秒权重分发、71 次事故不停训——这些数字背后是调度器、SDC 检测、分层分发一整套自建基础设施。模型权重可以下载,这套东西不能。 这也是为什么开源权重发布之后,真正的护城河反而更清晰了。

参考:Reflection 官方发布文(2026-10-05)、权重发布公告(2026-10-16)、Beam Model Card、Beam Safety Technical Report、Baseten 模型库。所有 benchmark 数字均为厂商自报,效率数字为估算值而非实测。