WildClawBench：面向真实环境的 AI Agent 端到端评测基准

获取下载链全程约 1 分钟

1. 打开微信，搜索「软件教程管家」关注，或长按下方二维码关注
2. 回复关键词 WildClawBench 复制关键词
3. 公众号自动回复网盘链接，点击即可保存下载

打开微信扫一扫关注
或搜索【软件教程管家】

官方渠道：GitHub 仓库

WildClawBench 是 InternLM 团队推出的开源评测基准，专门回答一个实际问题：一个 AI Agent 到底能不能在真实工具环境里把复杂工作从头做到尾。它不考单步函数调用，而是把 Agent 放进正在运行的 OpenClaw 环境，用 60 个手工设计的任务做端到端检验——从多轮邮件协商会议时间，到看完 45 分钟比赛视频剪出精彩片段，再到在未文档化的代码库里写出能跑的推理脚本。技术报告快照里最强的前沿模型整体得分 62.2%，而最新审计的 OpenClaw 运行把最好成绩推到了 67.2%，分数拉开差距，评测才有区分度。

项目介绍：真环境、真任务、真得分

大多数 Agent 基准测的是孤立能力：调一次函数、解析一段 JSON、跟一条指令。WildClawBench 测的是整幅图：Agent 要在装有浏览器、命令行、文件系统、邮件和日历等真实工具的 OpenClaw 实例里连续工作 10 到 20 分钟，串联 10 到 60 多次工具调用，中间服务挂了要自己恢复，计划走偏了要自己调整，最后交出可用结果。

这套题的三个设计选择值得注意。第一，60 个任务全部手工从零设计，不是改编自现有基准，题面覆盖的都是真实工作场景：剪辑比赛集锦、多轮邮件约会、核查搜索结果里的矛盾点、给无文档代码库写推理脚本、提前发现隐私泄露。第二，同一套题跑在 4 个 Agent 框架上，模型能力与框架脚手架的贡献可以分开看——分数变化有多少来自模型本身、有多少来自周围工具，一目了然。第三，每个任务跑在独立的 Docker 容器里，镜像、数据与评分代码完全一致，标准答案与评分脚本只在 Agent 做完后才注入，执行期间不可见，从机制上杜绝了数据泄露，分数在不同机器上可以复现。

核心功能

• 五维能力覆盖：代理编排、多模态、长流程、编码、安全五个维度各有专门任务，不是只测一两个单项。
• 真实工具链：任务在真实运行的 OpenClaw 环境里执行，浏览器、命令行、文件系统、邮件、日历都是真工具，不是模拟桩。
• 四框架同题对比：OpenClaw、Claude Code、Codex CLI、Hermes Agent 跑同一套 60 题，横向比较时变量干净。
• 三份配套数据集：任务数据与镜像、Harbor 格式重打包、完整执行轨迹分别放在三个 Hugging Face 数据集里，按需取用。
• 排行榜与论文：项目主页提供排行榜入口，技术报告已在 arXiv 公开（编号 2605.10912），分数口径可以追溯。
• 可复现的隔离执行：每个任务独立容器，评分脚本事后注入，同一份结果可以在别的机器上重跑验证。

评测覆盖的五个维度

上手步骤

1. 先装好 Docker：评测在容器里跑，macOS 可用 Homebrew 装 Docker Desktop，Ubuntu 按 Docker 官方源安装，装完确认 Docker 能正常启动。
2. 安装 Hugging Face 命令行工具：执行

   pip install -U "huggingface_hub[cli]"

   后，即可用 hf download 拉取镜像文件。

3. 下载对应框架的镜像：四个框架各有一个镜像包，例如 OpenClaw 用

   hf download internlm/WildClawBench Images/wildclawbench-ubuntu_v1.3.tar --repo-type dataset --local-dir .

   其余三个框架的包名与标签见仓库 README 的镜像表。

4. 把镜像载入 Docker：下载完成后用

   docker load -i Images/wildclawbench-ubuntu_v1.3.tar

   载入，需要哪个框架就载入哪一个，不必四个全下。

5. 下载任务数据：任务数据在 Hugging Face 的 WildClawBench 数据集里，按 README 指引取回本地工作区。
6. 跑评测并看排行榜：按仓库说明启动评测流程，跑完对照项目主页的排行榜核对分数；想省掉搭建步骤的，可以直接用 Harbor 格式数据集，一条 harbor run 跑任意 Harbor 支持的 Agent。
7. 复核执行轨迹：跑完后结合 WildClawBench-Trajectories 数据集里的完整轨迹，检查 Agent 在哪一步走偏、哪一次工具调用失败，比只看总分更能定位问题。

注意事项

• 分数有两种口径，引用时要注明：62.2% 是技术报告快照里的最强模型成绩，67.2% 是之后最新审计的 OpenClaw 运行成绩，两者不是同一批运行，不要混着报。
• 成绩绑定 OpenClaw 环境：评测依赖真实运行的 OpenClaw 实例，分数不能直接等同于 Agent 在其他框架里的表现，换框架要重新跑。
• 部分任务有额外依赖：个别任务的前置条件包括 yt-dlp、ffmpeg 与 gdown，YouTube 下载还可能要求登录验证，跑之前先按 README 把依赖备齐。
• 横向比较必须统一条件：模型、框架、工具服务与执行配置都会显著影响结果，对比不同模型时要固定同一套条件，否则分数没有可比性。
• 成本要自己核算：任务涉及外部服务、长时间运行与多模态处理，60 题全量跑下来耗时与 API 花费都不小，先拿少量任务试跑再决定是否全量。
• 自定义任务有模板：想加自己的任务，按仓库里 tasks/task0_template.md 的带注释模板来写，不要自己拼格式。

同类对比

一句话取舍：如果要的是 Agent 在真实工作里到底行不行，WildClawBench 的端到端实测是最直接的答案；如果只要快速筛一下模型会不会调工具，轻量基准更快；如果团队已经在用 Harbor，直接拿 Harbor 格式数据集接入最省事。

适合人群

适合开发 AI Agent、Agent 运行时、模型评测体系或安全评估流程的研究人员与工程团队，尤其适合需要观察 Agent 在真实工具环境中连续执行任务、而不是只验证单次函数调用的团队。使用前最好具备 Docker 与 Python 基础，并能接受为一次全量评测准备环境与预算；只想看结论的，可以先看项目主页排行榜与技术报告，再决定要不要自己跑。

前往 GitHub 查看 WildClawBench

GitHub 国内访问较慢，如打不开可多刷新几次

推广

关注「软件教程管家」

回复软件名即取即下：网盘下载链接 + 提取码，一步直达，不用再跳转。

相关推荐

开发Pinky中文版下载｜让 AI Agent 经 MCP 安全操作真实手机的开源审批网关开发rea-video：AI Agent 逐镜拆解视频，实拍/AI/代码判定与复刻方案开发Observer：本地优先的 AI Agent 桌面助手开发Firekylin：面向 AI 协作的 Node.js 开源博客系统开发Kubai Icons中文版下载|Windows（AI编码Agent统一风格动画图标库）开发anidoodle中文版下载 | 用代码画手绘插画与原创配乐的AI Agent技能