跳到主要内容

研究与排行榜

EnvLoop 提供两类比较页面。Console 中的 Project leaderboard 比较项目内部选定的 Job；公开排行榜展示已发布的 benchmark 结果、协议和证据。把 Job 加到项目内榜单，不会将它公开发布。

比较自己的 Job​

在 Jobs → Metrics → Project leaderboard 只读查看已保存的结果、排名、得分与覆盖率；Console 不提供添加结果的写入按钮。

解释分数差异前，先点击 Job 链接检查原始 Trial 和产物。Dataset、Runner 同名并不足够，固定 revision、Task digest 和 attempts 也需要一致。缺失 reward 会持续显示，包括失败但产生部分得分的 Job。指标定义与添加条件见评测结果。

项目内榜单不会自动同步到公开 benchmark，读取项目结果仍需要相应成员身份和访问权限。

浏览公开研究​

从网站进入研究页面。每项研究链接到已有的论文、仓库、Dataset 或模型资源。详情页提供：

  1. Abstract 和研究图示，说明问题与实验设置。
  2. 有数据时的 Reported results，包含指标和模型名称。
  3. What the study covers，说明实验覆盖范围。
  4. What remains open，说明当前证据的限制。
  5. Cite this work，提供 Copy BibTeX 引用复制按钮。

把数字应用到不同模型、环境或 split 前，应先阅读论文和限制。研究结果描述的是该项实验，不能据此证明自己新运行的 Job。引用复制失败时，可手动选择页面中的 BibTeX。外部资源链接可能在新页面或新标签打开。

阅读公开 benchmark 榜单​

  1. 打开排行榜，选择一个 benchmark。
  2. 阅读任务规模等基础信息、主要指标及资源链接。
  3. 查看 Ranking 和已有维度拆分；列标题箭头表示越高越好或越低越好。
  4. 比较模型前阅读 How it is scored 与 Environment。
  5. 通过关联研究和已发布评测资源检查具体协议。

不同 benchmark 的主要指标、单位、任务分布和 verifier 不同，不能直接比较跨榜单分数。Rank 表示已发布条目中的位置，不代表覆盖所有模型或所有 Agent 设置。复用报告数字时，要同时保留展示的配置和限制。

浏览 cu-bench 单题结果与回放​

公开 cu-bench 榜单提供 Per-task results and replays。精选的 Example replays 展示已记录的桌面轨迹，可选择卡片、播放或逐帧查看、调整速度，并点击画面放大。这些示例只展示选定运行，不代表榜单中的每一道题。

切换到 Results matrix，可按 Environment、Tier、Dimension、Model、Track 筛选。Only disagreements 选择同一 track 内可见模型之间的 pass/fail 差异。提供 Paired set only 时默认选中，用于查看主要排名采用的已发布配对比较；取消后可探索其他已报告运行。汇总可在环境、tier、难度维度间切换，并随当前筛选重算；只统计 pass/fail 单元格，未运行、等待与无效项不计入分母。

悬停或聚焦单元格可查看已有 composite、步数/预算、失败原因与 judge 归因。单元格可能打开精选回放、需要登录和权限的 Console Trial，或在没有关联证据时只展示检查面板。辅助 composite 与 judge 分数不替代严格 verifier 结果。引用子集统计时，应同时保留配对集合和筛选设置。

结果 bundle 加载失败时点击 Retry。帧持续显示 Loading frame… 或没有字幕，表示相应证据不可用，不是新计算出的失败。公开榜单读取冻结发布的资产，浏览或播放不会提交新的评测，也不会公开项目私有产物。

提交模型申请公开评测​

公开网站的 Submit a model 会通过邮件打开页面列出的研究联系人。目前网站没有自助上传表单、公开提交 API，也没有自动“发布这个 Job”的操作。提交表示申请评测或审查，不是立即上榜。

按目标榜单的 Add a model 说明准备材料。具体协议可能接受固定预测结果，也可能需要可使用已发布 verifier 评估的模型。建议准备：

  • benchmark、精确 revision/split 和评测设置。
  • 模型/checkpoint 版本，以及复现所需的代码或预测格式。
  • Runner/Agent 配置、attempts、预算和超时设置。
  • 评分覆盖率、失败或缺失案例，以及相关结果产物。
  • 结果是独立验证、自行报告，还是等待审查。

以上是材料准备建议，实际接受要求以该榜单当前协议和联系说明为准。不要发送凭据、带签名下载 URL 或项目私有数据。应提供可分享、授权范围合适的产物；有访问限制时与审查联系人安排访问。

常见问题​

为什么 Console 的 Job 没出现在公开榜单？ 项目内提交保留在项目作用域，公开收录使用独立的 benchmark 审查流程。

为什么两个 Job 不在同一项目榜单？ 检查冻结的 Dataset/Runner 引用、Task digest 和请求的 attempts，必须属于同一比较协议。

分数高了就能说明有提升吗？ 先检查输入和预算一致性、覆盖率、重复性与 benchmark 报告要求。部分得分提高，或更换测试集，都不足以证明提升。

复现一个结果应该从哪里开始？ 先阅读该研究的论文与资源，再通过 Datasets、Profiles、Jobs、Trials 保存自己评测的输入与证据。