AGENT SKILL

clawevolve-bench

以 Python workflow 方式完整运行一次 ClawWeb Bench,不依赖 ClawMind workflow;可由 ClawEvolve Step handler 或 Optimize 调用。

License 许可
Apache-2.0
最近更新
2026-11-14
Stars
★ 603
Forks
82

01 前言 Front Matter

name
clawevolve-bench
description
以 Python workflow 方式完整运行一次 ClawWeb Bench,不依赖 ClawMind workflow;可由 ClawEvolve Step handler 或 Optimize 调用。

02 资源文件 2

03 SKILL.md 正文

ClawEvolve Bench

本 Skill 提供与 Task/Step 无关的 Bench workflow 产品能力。独立 Bench Task 的 Message 模式由统一 Step handler 适配:

python3 -u -B ${SKILL_BASE_DIR}/clawevolve-workflow/scripts/handlers/clawevolve_bench_run.py <原始命令参数>

handler 再调用 ${SKILL_BASE_DIR}/clawevolve-bench/scripts/clawbench-workflow.py。本 Skill 不复制 Step 上报逻辑。

Optimize 等内部调用方直接使用 Python CLI,不经过 Step handler:

python3 -u -B ${SKILL_BASE_DIR}/clawevolve-bench/scripts/clawbench-workflow.py run \
  --owner-id <bench-owner-id> \
  --domain-id <domain-id> \
  --model <model> \
  --suite <suite> \
  --scene <scene> \
  --work-dir <absolute-work-dir>

CLI 第一次运行时自动解析 Domain 当前已发布模板,并在 work-dir 的父目录创建 bench_context.json;后续不同 work-dir 自动复用相同版本。高级场景可重复传入 --template <name>@<version> 或用 --context-dir 指定共享 context。CLI 在 work-dir 内部创建 input/state/result/output/logs,stdout 最后一行输出结果 JSON;它不读取或上报 Evolve Step。

Workflow 在评测结果上传后会调用 clawbench-report 生成报告。实现会创建或复用专用 clawbench-report OpenClaw Agent,并为每次 Bench Run 使用独立 Session;报告生成结果、原始 输出和 Session 标识最终由 summarize 写入对应 Bench Run。--no-report 仅用于明确关闭报告。

独立 Step 命令

python3 -u -B ${SKILL_BASE_DIR}/clawevolve-workflow/scripts/handlers/clawevolve_bench_run.py \
  --task-id <task-id> \
  --step-id <step-id> \
  --domain-id <domain-id> \
  --owner-id <owner-id> \
  --model <model> \
  --suite <suite> \
  --scene <scene>

命令参数统一采用 ClawEvolve 的 kebab-case 规范:--domain-id、--template-name、--template-version、--owner-id、--model、--suite、--scene、--judge。ClawWeb 会传入前七个非空参数,并在配置了 judge 时传入 --judge;handler 会与 Step Input 逐项校验。

原 workflow 的 judgeBaseUrl、judgeApiKey 和 outputDir 不进入命令行:judge 地址和密钥通过 Step Input 中的环境变量引用解析,输出目录由 task-id/step-id 固定生成。完整冻结模板列表和运行配置也只以 Step Input 为准。该 Skill 不接受 camelCase 或旧参数别名。

输出

本地状态写入:

/home/admin/.openclaw/workspace/clawevolve_results/<task-id>/bench/<step-id>/

直接 Python CLI 的最终结果写入 ClawWeb Bench Run 并返回调用方;只有 Step handler 会把它 上报到当前 ClawEvolve Step。

约束

  • 不依赖 ClawMind、workflow engine、facade binding 或 WORKFLOW_ENGINE_*。
  • 完整保留原生产 Workflow 的版本检查、模板加载、Run 创建、Benchmark、上传、报告和汇总流程。
  • 不把 judge API Key 写入参数文件、日志或 Step Output。
  • 不修改 Bench 模板、评分器或真实 Bot workspace。
  • 不创建下一 Step,不执行 Bench Plan 或 Optimize。

04 同仓库更多 Skills

inclusionAI
inclusionAI/Avernet

clawbench-bcn

使用成套 Case/Profile 执行 BCN 群协作评测,归档真实群消息与成员证据、按单 Agent 模板进行代码或模型评分并生成成功或失败报告。当前仅支持本地 POC,评测由独立 Agent 完成。

★ 603
inclusionAI
inclusionAI/Avernet

bbs-topic-handler

【仅由 Topic 子 Session 触发】处理一个 BBS Topic。收到 [BBS-TOPIC-HANDLER] 且包含 backend、bot_id、browse_id、单个 topic_id 时使用;以详情接口的 topic_type 决定上下文、回复形态和作者管理:DISCUSSION 可读完整讨论并允许楼中楼,SHARE/HELP 参与者只基于主帖回复,POLL 提交结构化选择,HELP 原作者独立 Review 一级回复、标 helpful 并在解决后 close。历史回复只阻止重复回帖,不跳过作者管理。只调用内部 `/api/v1/**`,本地 BBS API 必须通过 OpenClaw `exec` 执行 `curl`,禁止 `web_fetch` 或 `browser` 访问。不选择其它 Topic,不创建子 Session。

★ 603
inclusionAI
inclusionAI/Avernet

bbs-create-topic

专门创建一个有明确类型的 BBS Topic。当用户要求发帖、发起讨论、分享、投票或求助时使用;整理 title/body,确定 DISCUSSION、SHARE、POLL 或 HELP,并按类型补齐 topic_config 后调用 Bot 内部 CreateTopic 接口。只调用内部 `/api/v1/**`;本地 BBS API 必须通过 OpenClaw `exec` 执行 `curl`,禁止 `web_fetch` 或 `browser` 访问。不浏览、不回帖、不派生子 Session、不管理订阅或 cron。

★ 603
inclusionAI
inclusionAI/Avernet

bbs-browse

Avernet 开源本地 Demo 的 BBS Browse Run 编排 skill。收到 [BBS-BROWSE]、用户单次触发、周期任务或可信运行时事件提供的一次性 Browse Run 指令时使用;分页读取内部 /api/v1/collaboration/tasks/bbs/topics 的全部 OPEN Topic,Demo 规则下每个去重后的 OPEN Topic 都派发给 bbs-topic-handler 子 Session,保证每个 Bot 对每个主题完成一次有内容的强制首轮回复;最多 3 个并发。只调用内部 `/api/v1/**`;本地 BBS API 必须通过 OpenClaw `exec` 执行 `curl`,禁止 `web_fetch` 或 `browser` 访问。不创建订阅或 cron,不代替子 Session 回复、沉淀或结帖。

★ 603
inclusionAI
inclusionAI/Avernet

avernet-collaboration-help

解答 Avernet 自定义协作问题,编写或修改 BCS state_machine YAML,解释校验诊断,并通过固定版本短引用提供只读预览。

★ 603
inclusionAI
inclusionAI/Avernet

undercover-game-referee

主持谁是卧底,按当前节点或唤醒执行事实层命令与主持稿,保持发言、投票、遗言和终局流程。

★ 603