[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"skill:01M78628A96V2W3KD9QTF170V5":3,"skill-same:01M78628A96V2W3KD9QTF170V5":57},{"skillNo":4,"name":5,"nameZh":6,"description":7,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":15,"categories":16,"keywords":17,"publishedAt":18,"linkOnly":19,"markdownContent":20,"markdownBody":21,"frontMatter":22,"refName":23,"commitSha":24,"skillDirectory":25,"forksCount":26,"repositoryHtmlUrl":27,"repositoryHomepageUrl":28,"ownerHtmlUrl":29,"ownerBlogUrl":30,"ownerDescription":31,"updatedAt":32,"install":33,"resources":46},"01M78628A96V2W3KD9QTF170V5","clawbench-template",null,"创建 ClawBench 评测用例模板。当用户需要设计 benchmark case、MCP 工具调用 case、skill case 或 session baseline 模板时使用。","inclusionAI\u002FAvernet","inclusionAI","https:\u002F\u002Favatars.githubusercontent.com\u002Fu\u002F199075982?v=4","01M785ZY12HRQ5GZVH8XH66BNN","01M785ZY1X9YHEHBAPJZRH6CC5",603,"Apache-2.0","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fapps\u002Fevolverun\u002Fclawweb-skills\u002Fclawevolve-skills\u002Fclawbench-template\u002FSKILL.md",[],[],"2026-11-15 14:19:17",false,"---\nname: clawbench-template\ndescription: 创建 ClawBench 评测用例模板。当用户需要设计 benchmark case、MCP 工具调用 case、skill case 或 session baseline 模板时使用。\n---\n\n# ClawBench 用例模板\n\n用于创建可发布的 ClawBench 评测用例模板，包括 benchmark、MCP、skill 和 session baseline 等类型。\n\n对外统一称为 **ClawBench**，不要暴露内部运行时名称。\n\n## 参考模板\n\n当用户要求生成完整 ClawBench 用例、迁移旧用例、补齐评分逻辑，或输出可直接发布的 benchmark markdown 时，必须参考 `references\u002FTASK_TEMPLATE.md`。\n\n`references\u002FTASK_TEMPLATE.md` 保留了原始任务模板的完整结构，包括：\n\n- frontmatter 字段与 `workspace_files` 写法。\n- `Prompt`、`Expected Behavior`、`Grading Criteria`、`Automated Checks`。\n- `LLM Judge Rubric`、`Workspace Files`、`Additional Notes`。\n- 自动评分函数签名：`grade(transcript: list, workspace_path: str) -> dict`。\n\n不要在主 `SKILL.md` 中复制原始模板全文；主文件负责约束和决策，reference 文件负责保留完整样例，避免上下文过长且不丢信息。\n\n\n## 历史 Session 与 Ground Truth\n\nClawBench 用例优先来自真实任务、真实失败或真实用户会话。用户提供历史 session、run id、transcript\u002Fjsonl 文件或失败日志时，应优先从真实执行轨迹中抽取：\n\n- 原始用户意图和任务边界。\n- Agent 实际采取的步骤、工具调用、参数和输出。\n- 成功证据、失败证据、缺失步骤和可复现断言。\n- 适合沉淀为 `Prompt`、`Expected Behavior`、`Grading Criteria` 和 `Automated Checks` 的信息。\n\n历史 session 常见结构是 JSONL 事件流，可能包含 `session`、`model_change`、`custom`、`message` 等事件；`message.role` 可能是 `user`、`assistant`、`toolResult`；assistant 内容中可能包含 `thinking`、`toolCall`、`text`；toolResult 内容中可能包含工具输出。解析时应兼容字段缺失和不同事件形态。\n\n如果用户提供 ground truth，应把它转化为明确可验证的断言。如果用户没有 ground truth，应主动引导用户补齐最小可验证事实，例如：\n\n- 期望最终答案必须包含哪些字段或结论。\n- 期望调用哪些能力或等价能力，以及关键参数是什么。\n- 期望生成、修改或读取哪些文件。\n- 哪些结果可接受，哪些结果必须判失败。\n- 是否存在成功样例、失败样例或边界样例。\n\n\n## Session JSONL 格式参考\n\n历史 session 通常是 JSONL，每行一个事件对象。常见事件包括：\n\n- `type: \"session\"`：会话元信息。\n- `type: \"model_change\"`：模型切换信息。\n- `type: \"custom\"`：自定义事件。\n- `type: \"message\"`：用户、助手或工具结果消息。\n\n`message` 事件常见结构：\n\n```json\n{\n  \"type\": \"message\",\n  \"id\": \"event-id\",\n  \"timestamp\": \"2026-01-01T00:00:00.000Z\",\n  \"message\": {\n    \"role\": \"user | assistant | toolResult\",\n    \"content\": [\n      {\n        \"type\": \"text | thinking | toolCall\",\n        \"text\": \"文本内容\",\n        \"name\": \"tool_name\",\n        \"arguments\": {}\n      }\n    ]\n  }\n}\n```\n\n工具结果常见结构：\n\n```json\n{\n  \"type\": \"message\",\n  \"message\": {\n    \"role\": \"toolResult\",\n    \"toolName\": \"tool_name\",\n    \"toolCallId\": \"tool-call-id\",\n    \"content\": [\n      {\n        \"type\": \"text\",\n        \"text\": \"工具输出\"\n      }\n    ],\n    \"isError\": false\n  }\n}\n```\n\n评分脚本应容错处理：\n\n- 缺少 `message`、`content`、`arguments` 的情况。\n- `content` 可能是数组、字符串、对象或空值。\n- tool call 可能在 `message.content[]` 中，也可能通过其他兼容字段出现。\n- tool result 可能是 `role=toolResult`，也可能带有 `toolName`、`toolCallId` 或 `isError`。\n- `arguments` 可能是 dict，也可能是 JSON 字符串或命令行文本，需要做兼容解析。\n\n\n## 输出要求\n\n当用户要求创建用例时，输出以下内容：\n\n1. 建议文件名和默认输出路径。\n2. 用例类型：benchmark、MCP、skill 或 baseline。\n3. 完整 Markdown 用例内容。\n4. `Grading Criteria`、`Automated Checks` 或 `LLM Judge Rubric` 说明。\n5. timeout 建议。\n6. 所需 fixture、输入文件、session reference 或环境前提。\n\n如果用户没有指定目录，默认将模板生成到 `workspace\u002Fclawbench_template_generate\u002F`。如果具备文件写入能力，应创建该目录并写入模板文件；如果当前环境不能写文件，再输出完整内容和建议路径。不要假设存在某个本地 `tasks\u002F` 目录。\n\n默认文件名使用时间戳加语义后缀，避免重复或覆盖已有文件。建议格式：`YYYYMMDD_HHMMSS_\u003Cshort-task-name>.md`，例如 `20260611_203000_yuque_search_case.md`。`short-task-name` 使用小写英文、数字和下划线，避免空格和特殊字符。\n\n\n## 交互式生成流程\n\n交互时减少阻塞式二次确认。用户明确要求生成模板时，应先基于已有信息生成一份可修改的模板草案，并说明假设、评分点和待确认问题；只有关键输入完全缺失且无法合理假设时，才先用少量问题补齐。优先关注：\n\n1. 要评测的能力、工具、skill 或业务场景是什么。\n2. 真实用户请求或历史失败场景是什么。\n3. 是否有历史 session、run id、transcript\u002Fjsonl 文件或失败日志可参考。\n4. 是否有 ground truth，例如标准答案、期望文件、期望工具参数、期望业务状态或允许的等价结果。\n5. 希望使用 `automated`、`llm_judge` 还是 `hybrid` 评分。\n6. 成功、部分成功、失败分别应该如何判定。\n\n推荐流程：生成模板草案，说明评分点、假设和风险；如需用户确认，应在草案之后提出具体待确认问题。信息充足且用户明确要求生成文件时，可以直接写入默认目录。\n\n## Prompt 设计原则\n\n`Prompt` 必须像真实用户需求，不能包含答案、工具名、命令、实现步骤或评分提示。\n\n工具选择、参数、调用顺序、可接受替代方案和评分预期应放在 `Expected Behavior`、`Grading Criteria`、`Automated Checks` 或 `LLM Judge Rubric` 里。\n\n错误示例：\n\n```markdown\n## Prompt\n请查询已办任务列表。提示：使用 mcporter call xxx.query_completed_tasks。\n```\n\n正确示例：\n\n```markdown\n## Prompt\n请帮我查询 2026 年 1 月 1 日到 2026 年 1 月 31 日期间，我的已办任务列表，最多返回 10 条记录。\n\n## Expected Behavior\nThe agent should:\n1. 探索可用工具，找到查询任务相关能力。\n2. 调用已办任务查询能力。\n3. 正确设置 fromDate、toDate、limit。\n4. 返回已办任务列表。\n```\n\n## Benchmark Case 模板\n\n适用于评测 Agent 是否完成一个明确任务，并通过自动评分逻辑验证结果。\n\n````markdown\n---\nid: task_00_example\nname: 示例任务\ncategory: basic\ngrading_type: automated\ntimeout_seconds: 120\nworkspace_files: []\n---\n\n## Prompt\n\n{{真实用户需求。不要写工具名、命令或解题提示。}}\n\n## Expected Behavior\n\nThe agent should:\n1. {{期望行为 1}}\n2. {{期望行为 2}}\n3. {{关键参数、输出格式或业务约束}}\n\n## Grading Criteria\n\n- [ ] {{评分项 1：明确可观察证据}}\n- [ ] {{评分项 2：明确扣分条件}}\n- [ ] {{评分项 3：最终产物要求}}\n\n## Automated Checks\n\n```python\ndef grade(transcript: list, workspace_path: str) -> dict:\n    # transcript 通常包含 message、toolCall、toolResult 等事件。workspace_path 是隔离任务目录。\n    # 评分逻辑应从真实执行轨迹中提取证据，不要只依赖最终文本。\n    return {\n        \"requirement_met\": 1.0,\n        \"key_parameter_correct\": 1.0,\n        \"output_verified\": 1.0,\n    }\n```\n````\n\n## MCP Case 注意事项\n\nMCP case 用于评测 Agent 是否能自主发现并正确调用工具能力。Prompt 里不要直接写 MCP 工具名或命令。\n\n评分脚本应兼容 Agent 可能采用的多种调用形态：\n\n| 调用形态 | 示例 | 建议优先级 |\n| --- | --- | --- |\n| `key=value` | `userId=\"xxx\" startTime=\"yyy\"` | P0 |\n| JSON args | `--args '{\"userId\":\"xxx\"}'` | P1 |\n| flag style | `--user_id xxx --start_time yyy` | P2 |\n| 直接结构化 tool call | `{\"userId\":\"xxx\"}` | P0 |\n\n评分时建议同时检查：\n\n- 是否调用了正确能力或等价能力。\n- 是否传入关键参数。\n- 时间范围、数量限制、枚举值等边界参数是否正确。\n- 最终回答是否基于工具返回结果，而不是编造。\n\n## Skill Case 注意事项\n\nSkill case 用于评测 Agent 是否能正确应用某个领域 skill。\n\nPrompt 可以描述业务目标，但不要写“请使用某某 skill”。Expected Behavior 中可以写明期望观察到的 skill 使用证据，例如：\n\n- 是否读取或遵循了目标 skill 的核心约束。\n- 是否调用了 skill 推荐的脚本或工作流。\n- 是否避免了 skill 明确禁止的行为。\n- 最终产物是否符合 skill 的格式、命名和质量要求。\n\n## Baseline Case 模板\n\nBaseline case 适用于基于已有 session transcript 或历史会话进行 rubric 评估。\n\n```markdown\n---\nid: baseline_00_example\nname: 示例会话基线\ncategory: baseline\ngrading_type: llm_judge\ntimeout_seconds: 120\n---\n\n## Scope\n\n{{说明要评估的会话类型、业务目标和输入来源。}}\n\n## Session Reference\n\n{{填写 session id、transcript 路径、run id，或说明由执行环境注入。}}\n\n## Rubric\n\n- {{评分项 1：明确可观察证据}}\n- {{评分项 2：明确扣分条件}}\n- {{评分项 3：最终产物要求}}\n\n## Evidence Requirements\n\n- {{需要从 session 中观察到的工具调用、文件变更、日志或回复内容。}}\n- {{缺少证据时应如何扣分。}}\n```\n\n\n## Workflow 评测模板\n\n适用于评测 Workflow（多节点 DAG）的端到端执行链路。生成过程完全**数据驱动**：\n从 YAML 结构、各节点 SKILL.md、用户 Query 和可选的 Ground Truth \u002F Sample Session\n出发，系统性地派生模板的每个部分。\n\n### 前置：文件发现（必须先做，禁止猜测）\n\n**所有输入必须从磁盘文件读取，禁止根据 workflowId 名称猜测内容或结构。**\n读不到文件时**必须告知用户**缺失了哪些，让用户提供，而不是自己编造。\n\n**Step 0a. Workflow YAML 定位**：\n1. **API 获取（推荐，覆盖 ClawWeb 托管的 workflow）**：\n   ```bash\n   curl -s 'http:\u002F\u002F127.0.0.1:5173\u002Fapi\u002Fworkflows\u002F\u003CworkflowId>'\n   ```\n   或使用脚本：\n   ```bash\n   python3 scripts\u002Ffetch_workflow_yaml.py \u003CworkflowId> [--format yaml|json] [--output \u003Cpath>]\n   ```\n   脚本位置：`clawbench_template_generate\u002Fscripts\u002Ffetch_workflow_yaml.py`\n   如果 curl\u002F脚本成功返回 JSON → 直接解析使用。\n2. 本地 packs 目录：`\u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fpacks\u002F\u003CworkflowId>\u002Fworkflows\u002F\u003CworkflowId>.yaml`\n3. 回退：`find \u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fpacks -name \"\u003CworkflowId>.yaml\" 2>\u002Fdev\u002Fnull`\n4. 如果用户直接粘贴了 YAML 内容，直接使用，但需确认完整性\n5. 都找不到 → 告知用户，列出已安装的 workflow，问用户提供 YAML\n\n**说明**：ClawWeb 数据库模式（`database.mode: api`）的 workflow YAML 定义在\nClawWeb 服务端，不在本地 packs 目录。此时必须通过 API 获取。本机 ClawMind\n的 ClawWeb API 地址在 `\u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fconfigs\u002Fapplication.yaml`\n中 `api.baseUrl` 配置，固定 API 路径为 `\u003CbaseUrl>\u002Fapi\u002Fworkflows\u002F\u003CworkflowId>`。\n\n**Step 0b. Skill SKILL.md 定位**：\nYAML 中每个 `embedded-agent` 和 `subagent` 节点有 `skillName` 字段。对每个 skillName，\n按以下顺序搜索 SKILL.md：\n1. `\u002Fhome\u002Fadmin\u002F.openclaw\u002Fworkspace\u002Fskills\u002F\u003CskillName>\u002FSKILL.md`\n2. `\u002Fhome\u002Fadmin\u002F.openclaw\u002Fworkspace\u002Fskills\u002Fskills-repo\u002F**\u002F\u003CskillName>\u002FSKILL.md`\n   （使用 `find ... -path \"*\u002F\u003CskillName>\u002FSKILL.md\"`）\n3. `\u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fpacks\u002F\u003CworkflowId>\u002Fskills\u002F\u003CskillName>\u002FSKILL.md`\n   （pack 自带的 skill 定义）\n4. 都找不到 → **记录该节点，告知用户**缺失了哪些 skill 的 SKILL.md，\n   对该节点仅基于 YAML 中的 `outputContract` + `prompt` 做最小检查，不编造工具名。\n\n**Skill 识别说明**：\n- 如果所有 agent 节点都没有 `skillName`（全是 cli-script\u002Fdone），则跳过 SKILL.md 搜索\n- 如果 workflow 的 agent 节点不引用外部 skill 而是内联 prompt，则不需要 SKILL.md，\n  检查项从 YAML 的 `outputContract` 和 `prompt` 内容派生\n\n**Step 0c. Ground Truth \u002F Sample Session**：\n- 用户提供路径或内容时直接使用\n- 未提供时：Ground Truth 从 YAML 的 `outputContract` 推断最小可验证约束；\n  Sample Session 跳过，分支推断步骤生成全分支模板\n\n### 评测数据格式概览（与模板对应）\n\n生成的 `grade()` 函数将消费 `workflow_merge.py` 产出的 **merged transcript（v2.1 格式）**。\nAgent 必须在生成模板前理解以下数据格式，确保检查项和 helper\n函数使用与 transcript 结构一致：\n\n**Transcript 结构**：\n```\n第 1 行：__manifest__ event（含 workflow_trace）\n第 2 行：__workflow_start__ event（DAG 结构、goal）\n第 3~N 行：按节点顺序排列的 events\n  - 每个节点前有 __node_boundary__ 分隔\n  - agent 类节点：message 事件（role=assistant\u002FtoolResult），含 toolCall\n  - cli-script\u002Fdone 节点：__node_synthetic__ 事件（含 __node_output__）\n最后 1 行：__workflow_end__ event（status、workflow_outputs、duration）\n```\n\n**grade() 中可用的数据源与 helper**：\n\n| 数据源 | 获取方式 | 适用节点类型 |\n|--------|---------|------------|\n| 节点 session 事件 | `node_entries[\"\u003Cnode_id>\"]` — 含所有 toolCall\u002Ftext\u002FtoolResult | embedded-agent, subagent |\n| 节点执行状态 | `node_executed(node_id)` — 布尔 | 所有类型，agent 类门禁 |\n| trace 中节点存在性 | `node_in_trace(node_id)` — 布尔 | cli-script, done（门禁守卫） |\n| 节点结构化输出 | `get_trace_node_output(node_id)` — dict 或 None | 所有类型（兜底） |\n| workflow 级产出 | `get_workflow_outputs()` — dict（来自 outputContract） | done\u002Ffinish 节点配合使用 |\n| agent 输出 JSON | `get_final_json(entries)` — 从 assistant text 解析 JSON | embedded-agent, subagent |\n| 工具调用列表 | `extract_tool_names(entries)` \u002F `extract_exec_commands(entries)` | embedded-agent, subagent |\n\n**关键约束（生成 grade() 时必须遵守）**：\n- agent 类节点的存在性检查用 `node_executed()`（不走 trace 路径，避免 None 误判）\n- cli-script\u002Fdone 节点用 `node_in_trace()` 守卫，trace 缺失时豁免不扣分\n- done 节点的 workflow 产出用 `get_workflow_outputs()`，不用 `get_trace_node_output(\"finish\")`\n- 所有 helper 函数签名和用法见 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §3.2\n\n### 核心输入（4 项）\n\n| 输入 | 必填 | 用途 |\n|------|------|------|\n| Workflow YAML | ✅ | 提取节点 DAG（id, executor.type, dependsOn, branchId）、分支规则（onResult.branches）、outputContract schema、input 参数定义 |\n| 各节点 SKILL.md | ✅ | 对 `embedded-agent` \u002F `subagent` 节点，读取 skill 目录下的 SKILL.md，提取：必须调用的工具\u002F脚本、关键参数、输出 schema、禁止行为 |\n| Query \u002F Prompt | ✅ | 用户指定的评测意图。在线评测时此 Prompt 发给 Agent（格式 `\u002F\u003CworkflowId> \u003C参数>`） |\n| Ground Truth | 可选 | 期望输出（字段\u002F值），用于生成具体断言。没有时从 outputContract schema 推断最小可验证约束 |\n| Sample Session | 可选 | merged JSONL（可选），用于自动推断实际执行分支，校准 grade() 中的断言 |\n\n### 系统化生成流程（6 步）\n\n#### Step 1: 解析 Workflow YAML — 建立节点词典\n\n从 YAML 中提取以下结构化信息，作为后续所有决策的基础：\n\n```\nnode_dictionary = {\n  \"\u003Cnode_id>\": {\n    \"executor_type\": \"embedded-agent\" | \"subagent\" | \"cli-script\" | \"human\" | \"done\",\n    \"deps\": [\"dep_node_id\", ...],\n    \"branch_id\": \"fast\" | \"thorough\" | null,    # null = 公共节点\n    \"skill_name\": \"xxx\",                          # 仅 agent 类节点\n    \"output_contract\": { \"required\": [...], \"schema\": {...} },  # 存在时\n    \"on_result\": {                                 # 存在时（分支跳转）\n      \"branches\": [{\"branchId\": \"...\", \"label\": \"...\"}],\n      \"path\": \"dataExists\"\n    },\n    \"prompt\": \"...\",                               # agent 类节点的 prompt 模板\n    \"command\": \"python3 ...\",                      # cli-script 类节点\n    \"input_params\": { \"requiredParams\": [...], ... }  # workflow 级 input\n  }\n}\n```\n\n**关键分析动作**：\n- 根据 `branchId` 把节点分成：公共节点（无 branchId）、各分支专属节点\n- 找出有 `onResult.branches` 的节点 → 它们是分支决策点\n- 列出所有 `outputContract` 中的 `required` 字段 → 这些是评分 gate 的候选\n- 找出 `{{nodeOutput.xxx.yyy}}` 引用 → 这些是跨节点数据依赖\n\n#### Step 2: 读取 SKILL.md — 提取节点级检查项\n\n对每个 `embedded-agent` \u002F `subagent` 节点，读取其 `skillName` 对应的 SKILL.md。\n\n**提取目标**（不从 SKILL.md 全文复制，只提取可验证的要素）：\n- **工具\u002F脚本调用**：SKILL.md 中列出的 `exec` 命令、`mcporter` 调用、MCP 工具名\n- **关键参数**：脚本的必填参数（`--xxx`）、MCP 工具的参数名和类型\n- **输出 schema**：期望的 JSON 字段、类型、枚举值\n- **禁止行为**：SKILL.md 明确说「不要\u002F禁止\u002F警告」的行为\n- **失败模式**：从 SKILL.md 的注意事项中推断常见错误\n\n**产出**：一个 `node_checks` 字典，key 为 node_id，value 为：\n```python\n{\n  \"embedded-review\": {\n    \"expected_tools\": [\"exec\", \"read\", \"mcporter\"],\n    \"expected_commands\": [\"fraud-laundering-strategy-hit-analyzer\"],\n    \"expected_mcp\": [\"riskfaas_mt_socplt_oa_workflow_action_finish\"],\n    \"required_fields\": [\"summary\", \"conclusion\", \"risk_level\"],\n    \"forbidden_patterns\": [\"JSON.parse on incident_replay\"],\n    \"output_schema\": { ... }  # 从 SKILL.md 或 outputContract 提取\n  }\n}\n```\n\n#### Step 3: 判断目标分支\n\n- **用户明确指定分支** → 只评估该分支上的节点。公共节点 + 该分支专属节点。\n- **用户提供 sample session** → 从 merged JSONL 的 `manifest[\"nodes\"]` 自动推断。\n  例如 `manifest[\"nodes\"]` 包含 `\"analysis-prepare\"` 则为 analysis 分支。\n- **均未提供** → 生成**全分支模板**。所有分支节点用 `if \u003Cbranch_key_node> in node_entries`\n  守卫，非本分支的板块跳过不扣分（exempt）。\n\n#### Step 4: 生成 Automated Checks (grade 函数)\n\n这是模板的核心。严格遵照 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §3.2 的骨架和 §3.1\n的设计原则编写。\n\n**4a. 确定板块划分**\n\n板块 = 一个节点 OR 一组紧密关联的节点（如多轮 RPC 探查）。\n默认按节点逐个建板块，仅当多个节点共享同一 skill 且输出不可分割时才合并。\n\n**4b. 为每个板块生成检查项**\n\n对每个板块，按以下规则生成 gate（门禁）和 bonus（加分），**所有检查项必须从输入数据派生，不自己杜撰**：\n\n| 节点类型 | gate 来源 | bonus 来源 |\n|---------|----------|----------|\n| `embedded-agent` | ① node_executed() 存在性 ② 输出 JSON 可解析 ③ output_schema 的 required 字段全部存在 | ④ 非 required 但有价值的字段 ⑤ 工具调用符合 SKILL.md 规范 ⑥ 参数类型正确 |\n| `subagent` | 同上，但用 node_executed() + get_trace_node_output() 兜底 | 同上 |\n| `cli-script` | ① node_in_trace() 判断 trace 可用性 ② status == \"succeeded\" ③ output_keys 与 outputContract 一致 | ④ output 值域校验 ⑤ 错误处理（retry 后成功等） |\n| `done` | ① node_in_trace() ② status == \"succeeded\" ③ output.done == true | ④ workflow_outputs 包含 outputContract 声明的键 |\n| `human` | 在 manifest.nodes 中存在（用户已交互） | 无（人工节点不自动评分） |\n\n**重要规则**：\n- agent 节点用 **模式 A**（`node_executed()` 门禁），cli-script\u002Fdone 用 **模式 B**（`node_in_trace()` 守卫）\n- done 节点的 workflow 级输出用 `get_workflow_outputs()` 而非 `get_trace_node_output()`（类别错误）\n- 禁止 `1.0 if trace_node_succeeded(...) else 0.0` 反模式\n- 每节点最多 2-3 个 gate，最多 2-3 个 bonus\n\n**4c. 板块权重分配**\n\n使用 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §3.3 的加权票制。\n默认每个板块 weight=5，各板块等权。特殊节点（如纯透传节点）可降为 2-3。\n\n**4d. Ground Truth 注入**\n\n如果用户提供了 Ground Truth（如\"conclusion 应为 '需要交互'\"），将其转化为具体的 gate：\n```python\nraw[\"XX_conclusion_value\"] = 1.0 if output.get(\"conclusion\") == \"需要交互\" else 0.0\ngates[\"XX_conclusion_value\"] = raw[\"XX_conclusion_value\"] > 0\n```\n没有 GT 时从 outputContract schema 推断最小约束（如字段存在性、类型正确性）。\n\n#### Step 5: 生成 LLM Judge Rubric\n\n直接使用 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §4 的 **4 维度固定模板**，不需要根据 workflow\n自定义维度：\n\n| 维度 | 权重 | 评估内容 |\n|------|------|---------|\n| 链路完整性 | 25% | 节点是否按 DAG 顺序执行，分支选择是否正确 |\n| 工具调用规范性 | 30% | 各节点工具选择、参数、调用次数是否合理 |\n| 输出质量 | 25% | JSON 格式、字段完整性、值域合法性 |\n| 错误处理 | 20% | 边界条件、异常恢复、重试逻辑 |\n\n#### Step 6: 组装并输出\n\n完整模板结构（按 WORKFLOW_TASK_TEMPLATE.md 参考）：\n\n```markdown\n---\nid: task_\u003Cworkflow_id>_e2e\nname: \u003CYAML title> 端到端链路合规性评估\ncategory: workflow\ngrading_type: hybrid\ntimeout_seconds: \u003C按最长节点 timeout 之和 + 120s 余量>\nworkspace_files: []\nbenchmark_kind: workflow\nworkflow_id: \u003CworkflowId>\ngrading_weights:\n  automated: 0.6\n  llm_judge: 0.4\n---\n\n## Prompt\n\u002F\u003CworkflowId> \u003C参数>\n\n## Expected Behavior\n...（从 YAML DAG + SKILL.md + GT 自动生成）\n\n## Grading Criteria\n...（翻译 Step 4 的 gate\u002Fbonus 清单为 checkbox 格式）\n\n## Automated Checks\n...（Step 4 生成的 grade() 函数）\n\n## LLM Judge Rubric\n...（Step 5 的 4 维度模板）\n\n## Additional Notes\n...（输入数据来源、分支检测依据、使用方式）\n```\n\n### 参考模板\n\n生成 Workflow 评测模板时，必须参考 `references\u002FWORKFLOW_TASK_TEMPLATE.md`，其中包含:\n\n- Merged Transcript v2.1 格式规范（含 `workflow_trace` 流转数据）\n- 板块制 grade() 骨架（含分支检测模式、可复用 helper）\n- LLM Judge Rubric 固定模板\n- 代码规范与反例\n\n### 关键约束\n\n- Workflow 的 `## Prompt` 写 `\u002F\u003CworkflowId> \u003C参数>` 格式\n- `grading_type` 统一 `hybrid`，`grading_weights` 统一 `automated: 0.6, llm_judge: 0.4`\n- **不要假设具体 workflow 的业务逻辑**（如「预期结论=需要交互」）。检查项从 SKILL.md + outputContract + GT 派生\n- **板块划分不要过细**。一个节点的 gate\u002Fbonus 合在一起，不要拆成多个微小板块\n- **bonus 不要杜撰**。每个 bonus 必须有来源：outputContract 的 optional 字段、SKILL.md 的最佳实践、GT 的附加验证\n- `subagent` 类型节点的 session 由 `workflow_flow.py` 自动发现，`grade()` 可对其做详细检查\n- 离线评测时需手动 `--external-sessions` 指定 subagent session 路径\n\n\n## 评分模式选择\n\n选择评分模式时遵循以下规则：\n\n- 有明确工具调用、文件产物、结构化输出或 ground truth：优先 `automated`。\n- 需要判断内容质量、完整性、推理合理性或复杂业务语义：使用 `llm_judge`。\n- 同时需要过程校验和质量判断：使用 `hybrid`。\n- MCP 工具调用类 case 通常使用 `automated` 或 `hybrid`。\n- Skill 行为类 case 通常使用 `hybrid`。\n- 长会话、历史 session 或 baseline 复盘通常使用 `llm_judge` 或 `hybrid`。\n\n不要生成空泛评分项，例如“回答正确”“任务完成”。每个评分项都必须对应可观察证据，例如工具名或等价能力、关键参数、文件内容、最终回答字段、transcript 事件或 ground truth 断言。\n\n## 评分脚本验证\n\n生成 `automated` 或 `hybrid` 模板后，应尽量验证评分脚本是否可执行。验证目标是发现语法错误、字段访问错误和返回格式错误，不等同于证明评分完全正确。\n\n建议验证方式：\n\n1. 从模板中提取 `Automated Checks` 的 Python 代码。\n2. 构造最小 mock transcript，至少包含一个成功样例和一个失败样例。\n3. 构造临时 workspace，按需要放入 fixture 或输出文件。\n4. 调用 `grade(transcript: list, workspace_path: str) -> dict`。\n5. 确认返回值是 `dict`，key 与评分项对应，value 是 `0.0` 到 `1.0` 之间的数字。\n6. 如果用户提供真实 session\u002Ftranscript，优先使用真实数据做一次回放验证。\n\n评分脚本应只使用 Python 标准库，优先容错解析 transcript 中的 `message`、`toolCall`、`toolResult`、`text`、`arguments` 等常见结构。\n\n`grade()` 默认返回 criterion-score mapping，例如 `{ \"tool_used\": 1.0, \"argument_correct\": 0.5 }`。key 应对应 `Grading Criteria`，value 为 `0.0` 到 `1.0`，不要默认返回聚合后的 `score\u002Fmax_score\u002Fbreakdown\u002Fnotes` 包装对象。\n\n## Timeout 建议\n\n| 场景 | 建议 timeout |\n| --- | ---: |\n| 简单文本或单次工具调用 | 60s |\n| 需要探索工具或读取少量文件 | 120s |\n| 多步骤工具调用、跨文件分析 | 180s |\n| 长会话 baseline 或复杂诊断 | 300s+ |\n\n## 评分逻辑要求\n\n评分逻辑应该：\n\n- 使用 transcript、tool call、tool result、文件内容等可验证证据。\n- 返回 criterion-score mapping，key 对应 `Grading Criteria`，value 为 `0.0` 到 `1.0`。\n- 对关键失败原因应体现在评分项命名、扣分逻辑、`LLM Judge Rubric` 或模板说明中。\n- 兼容合理的等价实现，不把唯一命令路径写死。\n- 对缺失证据明确扣分。\n\n评分逻辑不应该：\n\n- 依赖不可访问的本地私有路径。\n- 假设某个内部目录一定存在。\n- 只根据最终自然语言回答打满分。\n- 在评分中执行破坏性命令。\n\n## 最终检查清单\n\n- Prompt 是真实用户需求，没有泄露答案。\n- Expected Behavior 描述了期望行为和关键参数。\n- `Grading Criteria`、`Automated Checks` 或 `LLM Judge Rubric` 能从 transcript 或产物中找到证据。\n- timeout 与任务复杂度匹配。\n- 文件名、id、name 稳定且语义清晰。\n- 所有外部输入、fixture、session reference 都已说明。\n- 对外内容只使用 ClawBench 名称。\n","# ClawBench 用例模板\n\n用于创建可发布的 ClawBench 评测用例模板，包括 benchmark、MCP、skill 和 session baseline 等类型。\n\n对外统一称为 **ClawBench**，不要暴露内部运行时名称。\n\n## 参考模板\n\n当用户要求生成完整 ClawBench 用例、迁移旧用例、补齐评分逻辑，或输出可直接发布的 benchmark markdown 时，必须参考 `references\u002FTASK_TEMPLATE.md`。\n\n`references\u002FTASK_TEMPLATE.md` 保留了原始任务模板的完整结构，包括：\n\n- frontmatter 字段与 `workspace_files` 写法。\n- `Prompt`、`Expected Behavior`、`Grading Criteria`、`Automated Checks`。\n- `LLM Judge Rubric`、`Workspace Files`、`Additional Notes`。\n- 自动评分函数签名：`grade(transcript: list, workspace_path: str) -> dict`。\n\n不要在主 `SKILL.md` 中复制原始模板全文；主文件负责约束和决策，reference 文件负责保留完整样例，避免上下文过长且不丢信息。\n\n\n## 历史 Session 与 Ground Truth\n\nClawBench 用例优先来自真实任务、真实失败或真实用户会话。用户提供历史 session、run id、transcript\u002Fjsonl 文件或失败日志时，应优先从真实执行轨迹中抽取：\n\n- 原始用户意图和任务边界。\n- Agent 实际采取的步骤、工具调用、参数和输出。\n- 成功证据、失败证据、缺失步骤和可复现断言。\n- 适合沉淀为 `Prompt`、`Expected Behavior`、`Grading Criteria` 和 `Automated Checks` 的信息。\n\n历史 session 常见结构是 JSONL 事件流，可能包含 `session`、`model_change`、`custom`、`message` 等事件；`message.role` 可能是 `user`、`assistant`、`toolResult`；assistant 内容中可能包含 `thinking`、`toolCall`、`text`；toolResult 内容中可能包含工具输出。解析时应兼容字段缺失和不同事件形态。\n\n如果用户提供 ground truth，应把它转化为明确可验证的断言。如果用户没有 ground truth，应主动引导用户补齐最小可验证事实，例如：\n\n- 期望最终答案必须包含哪些字段或结论。\n- 期望调用哪些能力或等价能力，以及关键参数是什么。\n- 期望生成、修改或读取哪些文件。\n- 哪些结果可接受，哪些结果必须判失败。\n- 是否存在成功样例、失败样例或边界样例。\n\n\n## Session JSONL 格式参考\n\n历史 session 通常是 JSONL，每行一个事件对象。常见事件包括：\n\n- `type: \"session\"`：会话元信息。\n- `type: \"model_change\"`：模型切换信息。\n- `type: \"custom\"`：自定义事件。\n- `type: \"message\"`：用户、助手或工具结果消息。\n\n`message` 事件常见结构：\n\n```json\n{\n  \"type\": \"message\",\n  \"id\": \"event-id\",\n  \"timestamp\": \"2026-01-01T00:00:00.000Z\",\n  \"message\": {\n    \"role\": \"user | assistant | toolResult\",\n    \"content\": [\n      {\n        \"type\": \"text | thinking | toolCall\",\n        \"text\": \"文本内容\",\n        \"name\": \"tool_name\",\n        \"arguments\": {}\n      }\n    ]\n  }\n}\n```\n\n工具结果常见结构：\n\n```json\n{\n  \"type\": \"message\",\n  \"message\": {\n    \"role\": \"toolResult\",\n    \"toolName\": \"tool_name\",\n    \"toolCallId\": \"tool-call-id\",\n    \"content\": [\n      {\n        \"type\": \"text\",\n        \"text\": \"工具输出\"\n      }\n    ],\n    \"isError\": false\n  }\n}\n```\n\n评分脚本应容错处理：\n\n- 缺少 `message`、`content`、`arguments` 的情况。\n- `content` 可能是数组、字符串、对象或空值。\n- tool call 可能在 `message.content[]` 中，也可能通过其他兼容字段出现。\n- tool result 可能是 `role=toolResult`，也可能带有 `toolName`、`toolCallId` 或 `isError`。\n- `arguments` 可能是 dict，也可能是 JSON 字符串或命令行文本，需要做兼容解析。\n\n\n## 输出要求\n\n当用户要求创建用例时，输出以下内容：\n\n1. 建议文件名和默认输出路径。\n2. 用例类型：benchmark、MCP、skill 或 baseline。\n3. 完整 Markdown 用例内容。\n4. `Grading Criteria`、`Automated Checks` 或 `LLM Judge Rubric` 说明。\n5. timeout 建议。\n6. 所需 fixture、输入文件、session reference 或环境前提。\n\n如果用户没有指定目录，默认将模板生成到 `workspace\u002Fclawbench_template_generate\u002F`。如果具备文件写入能力，应创建该目录并写入模板文件；如果当前环境不能写文件，再输出完整内容和建议路径。不要假设存在某个本地 `tasks\u002F` 目录。\n\n默认文件名使用时间戳加语义后缀，避免重复或覆盖已有文件。建议格式：`YYYYMMDD_HHMMSS_\u003Cshort-task-name>.md`，例如 `20260611_203000_yuque_search_case.md`。`short-task-name` 使用小写英文、数字和下划线，避免空格和特殊字符。\n\n\n## 交互式生成流程\n\n交互时减少阻塞式二次确认。用户明确要求生成模板时，应先基于已有信息生成一份可修改的模板草案，并说明假设、评分点和待确认问题；只有关键输入完全缺失且无法合理假设时，才先用少量问题补齐。优先关注：\n\n1. 要评测的能力、工具、skill 或业务场景是什么。\n2. 真实用户请求或历史失败场景是什么。\n3. 是否有历史 session、run id、transcript\u002Fjsonl 文件或失败日志可参考。\n4. 是否有 ground truth，例如标准答案、期望文件、期望工具参数、期望业务状态或允许的等价结果。\n5. 希望使用 `automated`、`llm_judge` 还是 `hybrid` 评分。\n6. 成功、部分成功、失败分别应该如何判定。\n\n推荐流程：生成模板草案，说明评分点、假设和风险；如需用户确认，应在草案之后提出具体待确认问题。信息充足且用户明确要求生成文件时，可以直接写入默认目录。\n\n## Prompt 设计原则\n\n`Prompt` 必须像真实用户需求，不能包含答案、工具名、命令、实现步骤或评分提示。\n\n工具选择、参数、调用顺序、可接受替代方案和评分预期应放在 `Expected Behavior`、`Grading Criteria`、`Automated Checks` 或 `LLM Judge Rubric` 里。\n\n错误示例：\n\n```markdown\n## Prompt\n请查询已办任务列表。提示：使用 mcporter call xxx.query_completed_tasks。\n```\n\n正确示例：\n\n```markdown\n## Prompt\n请帮我查询 2026 年 1 月 1 日到 2026 年 1 月 31 日期间，我的已办任务列表，最多返回 10 条记录。\n\n## Expected Behavior\nThe agent should:\n1. 探索可用工具，找到查询任务相关能力。\n2. 调用已办任务查询能力。\n3. 正确设置 fromDate、toDate、limit。\n4. 返回已办任务列表。\n```\n\n## Benchmark Case 模板\n\n适用于评测 Agent 是否完成一个明确任务，并通过自动评分逻辑验证结果。\n\n````markdown\n---\nid: task_00_example\nname: 示例任务\ncategory: basic\ngrading_type: automated\ntimeout_seconds: 120\nworkspace_files: []\n---\n\n## Prompt\n\n{{真实用户需求。不要写工具名、命令或解题提示。}}\n\n## Expected Behavior\n\nThe agent should:\n1. {{期望行为 1}}\n2. {{期望行为 2}}\n3. {{关键参数、输出格式或业务约束}}\n\n## Grading Criteria\n\n- [ ] {{评分项 1：明确可观察证据}}\n- [ ] {{评分项 2：明确扣分条件}}\n- [ ] {{评分项 3：最终产物要求}}\n\n## Automated Checks\n\n```python\ndef grade(transcript: list, workspace_path: str) -> dict:\n    # transcript 通常包含 message、toolCall、toolResult 等事件。workspace_path 是隔离任务目录。\n    # 评分逻辑应从真实执行轨迹中提取证据，不要只依赖最终文本。\n    return {\n        \"requirement_met\": 1.0,\n        \"key_parameter_correct\": 1.0,\n        \"output_verified\": 1.0,\n    }\n```\n````\n\n## MCP Case 注意事项\n\nMCP case 用于评测 Agent 是否能自主发现并正确调用工具能力。Prompt 里不要直接写 MCP 工具名或命令。\n\n评分脚本应兼容 Agent 可能采用的多种调用形态：\n\n| 调用形态 | 示例 | 建议优先级 |\n| --- | --- | --- |\n| `key=value` | `userId=\"xxx\" startTime=\"yyy\"` | P0 |\n| JSON args | `--args '{\"userId\":\"xxx\"}'` | P1 |\n| flag style | `--user_id xxx --start_time yyy` | P2 |\n| 直接结构化 tool call | `{\"userId\":\"xxx\"}` | P0 |\n\n评分时建议同时检查：\n\n- 是否调用了正确能力或等价能力。\n- 是否传入关键参数。\n- 时间范围、数量限制、枚举值等边界参数是否正确。\n- 最终回答是否基于工具返回结果，而不是编造。\n\n## Skill Case 注意事项\n\nSkill case 用于评测 Agent 是否能正确应用某个领域 skill。\n\nPrompt 可以描述业务目标，但不要写“请使用某某 skill”。Expected Behavior 中可以写明期望观察到的 skill 使用证据，例如：\n\n- 是否读取或遵循了目标 skill 的核心约束。\n- 是否调用了 skill 推荐的脚本或工作流。\n- 是否避免了 skill 明确禁止的行为。\n- 最终产物是否符合 skill 的格式、命名和质量要求。\n\n## Baseline Case 模板\n\nBaseline case 适用于基于已有 session transcript 或历史会话进行 rubric 评估。\n\n```markdown\n---\nid: baseline_00_example\nname: 示例会话基线\ncategory: baseline\ngrading_type: llm_judge\ntimeout_seconds: 120\n---\n\n## Scope\n\n{{说明要评估的会话类型、业务目标和输入来源。}}\n\n## Session Reference\n\n{{填写 session id、transcript 路径、run id，或说明由执行环境注入。}}\n\n## Rubric\n\n- {{评分项 1：明确可观察证据}}\n- {{评分项 2：明确扣分条件}}\n- {{评分项 3：最终产物要求}}\n\n## Evidence Requirements\n\n- {{需要从 session 中观察到的工具调用、文件变更、日志或回复内容。}}\n- {{缺少证据时应如何扣分。}}\n```\n\n\n## Workflow 评测模板\n\n适用于评测 Workflow（多节点 DAG）的端到端执行链路。生成过程完全**数据驱动**：\n从 YAML 结构、各节点 SKILL.md、用户 Query 和可选的 Ground Truth \u002F Sample Session\n出发，系统性地派生模板的每个部分。\n\n### 前置：文件发现（必须先做，禁止猜测）\n\n**所有输入必须从磁盘文件读取，禁止根据 workflowId 名称猜测内容或结构。**\n读不到文件时**必须告知用户**缺失了哪些，让用户提供，而不是自己编造。\n\n**Step 0a. Workflow YAML 定位**：\n1. **API 获取（推荐，覆盖 ClawWeb 托管的 workflow）**：\n   ```bash\n   curl -s 'http:\u002F\u002F127.0.0.1:5173\u002Fapi\u002Fworkflows\u002F\u003CworkflowId>'\n   ```\n   或使用脚本：\n   ```bash\n   python3 scripts\u002Ffetch_workflow_yaml.py \u003CworkflowId> [--format yaml|json] [--output \u003Cpath>]\n   ```\n   脚本位置：`clawbench_template_generate\u002Fscripts\u002Ffetch_workflow_yaml.py`\n   如果 curl\u002F脚本成功返回 JSON → 直接解析使用。\n2. 本地 packs 目录：`\u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fpacks\u002F\u003CworkflowId>\u002Fworkflows\u002F\u003CworkflowId>.yaml`\n3. 回退：`find \u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fpacks -name \"\u003CworkflowId>.yaml\" 2>\u002Fdev\u002Fnull`\n4. 如果用户直接粘贴了 YAML 内容，直接使用，但需确认完整性\n5. 都找不到 → 告知用户，列出已安装的 workflow，问用户提供 YAML\n\n**说明**：ClawWeb 数据库模式（`database.mode: api`）的 workflow YAML 定义在\nClawWeb 服务端，不在本地 packs 目录。此时必须通过 API 获取。本机 ClawMind\n的 ClawWeb API 地址在 `\u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fconfigs\u002Fapplication.yaml`\n中 `api.baseUrl` 配置，固定 API 路径为 `\u003CbaseUrl>\u002Fapi\u002Fworkflows\u002F\u003CworkflowId>`。\n\n**Step 0b. Skill SKILL.md 定位**：\nYAML 中每个 `embedded-agent` 和 `subagent` 节点有 `skillName` 字段。对每个 skillName，\n按以下顺序搜索 SKILL.md：\n1. `\u002Fhome\u002Fadmin\u002F.openclaw\u002Fworkspace\u002Fskills\u002F\u003CskillName>\u002FSKILL.md`\n2. `\u002Fhome\u002Fadmin\u002F.openclaw\u002Fworkspace\u002Fskills\u002Fskills-repo\u002F**\u002F\u003CskillName>\u002FSKILL.md`\n   （使用 `find ... -path \"*\u002F\u003CskillName>\u002FSKILL.md\"`）\n3. `\u002Fopt\u002FopenclawExt\u002Fclawmind\u002Fpacks\u002F\u003CworkflowId>\u002Fskills\u002F\u003CskillName>\u002FSKILL.md`\n   （pack 自带的 skill 定义）\n4. 都找不到 → **记录该节点，告知用户**缺失了哪些 skill 的 SKILL.md，\n   对该节点仅基于 YAML 中的 `outputContract` + `prompt` 做最小检查，不编造工具名。\n\n**Skill 识别说明**：\n- 如果所有 agent 节点都没有 `skillName`（全是 cli-script\u002Fdone），则跳过 SKILL.md 搜索\n- 如果 workflow 的 agent 节点不引用外部 skill 而是内联 prompt，则不需要 SKILL.md，\n  检查项从 YAML 的 `outputContract` 和 `prompt` 内容派生\n\n**Step 0c. Ground Truth \u002F Sample Session**：\n- 用户提供路径或内容时直接使用\n- 未提供时：Ground Truth 从 YAML 的 `outputContract` 推断最小可验证约束；\n  Sample Session 跳过，分支推断步骤生成全分支模板\n\n### 评测数据格式概览（与模板对应）\n\n生成的 `grade()` 函数将消费 `workflow_merge.py` 产出的 **merged transcript（v2.1 格式）**。\nAgent 必须在生成模板前理解以下数据格式，确保检查项和 helper\n函数使用与 transcript 结构一致：\n\n**Transcript 结构**：\n```\n第 1 行：__manifest__ event（含 workflow_trace）\n第 2 行：__workflow_start__ event（DAG 结构、goal）\n第 3~N 行：按节点顺序排列的 events\n  - 每个节点前有 __node_boundary__ 分隔\n  - agent 类节点：message 事件（role=assistant\u002FtoolResult），含 toolCall\n  - cli-script\u002Fdone 节点：__node_synthetic__ 事件（含 __node_output__）\n最后 1 行：__workflow_end__ event（status、workflow_outputs、duration）\n```\n\n**grade() 中可用的数据源与 helper**：\n\n| 数据源 | 获取方式 | 适用节点类型 |\n|--------|---------|------------|\n| 节点 session 事件 | `node_entries[\"\u003Cnode_id>\"]` — 含所有 toolCall\u002Ftext\u002FtoolResult | embedded-agent, subagent |\n| 节点执行状态 | `node_executed(node_id)` — 布尔 | 所有类型，agent 类门禁 |\n| trace 中节点存在性 | `node_in_trace(node_id)` — 布尔 | cli-script, done（门禁守卫） |\n| 节点结构化输出 | `get_trace_node_output(node_id)` — dict 或 None | 所有类型（兜底） |\n| workflow 级产出 | `get_workflow_outputs()` — dict（来自 outputContract） | done\u002Ffinish 节点配合使用 |\n| agent 输出 JSON | `get_final_json(entries)` — 从 assistant text 解析 JSON | embedded-agent, subagent |\n| 工具调用列表 | `extract_tool_names(entries)` \u002F `extract_exec_commands(entries)` | embedded-agent, subagent |\n\n**关键约束（生成 grade() 时必须遵守）**：\n- agent 类节点的存在性检查用 `node_executed()`（不走 trace 路径，避免 None 误判）\n- cli-script\u002Fdone 节点用 `node_in_trace()` 守卫，trace 缺失时豁免不扣分\n- done 节点的 workflow 产出用 `get_workflow_outputs()`，不用 `get_trace_node_output(\"finish\")`\n- 所有 helper 函数签名和用法见 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §3.2\n\n### 核心输入（4 项）\n\n| 输入 | 必填 | 用途 |\n|------|------|------|\n| Workflow YAML | ✅ | 提取节点 DAG（id, executor.type, dependsOn, branchId）、分支规则（onResult.branches）、outputContract schema、input 参数定义 |\n| 各节点 SKILL.md | ✅ | 对 `embedded-agent` \u002F `subagent` 节点，读取 skill 目录下的 SKILL.md，提取：必须调用的工具\u002F脚本、关键参数、输出 schema、禁止行为 |\n| Query \u002F Prompt | ✅ | 用户指定的评测意图。在线评测时此 Prompt 发给 Agent（格式 `\u002F\u003CworkflowId> \u003C参数>`） |\n| Ground Truth | 可选 | 期望输出（字段\u002F值），用于生成具体断言。没有时从 outputContract schema 推断最小可验证约束 |\n| Sample Session | 可选 | merged JSONL（可选），用于自动推断实际执行分支，校准 grade() 中的断言 |\n\n### 系统化生成流程（6 步）\n\n#### Step 1: 解析 Workflow YAML — 建立节点词典\n\n从 YAML 中提取以下结构化信息，作为后续所有决策的基础：\n\n```\nnode_dictionary = {\n  \"\u003Cnode_id>\": {\n    \"executor_type\": \"embedded-agent\" | \"subagent\" | \"cli-script\" | \"human\" | \"done\",\n    \"deps\": [\"dep_node_id\", ...],\n    \"branch_id\": \"fast\" | \"thorough\" | null,    # null = 公共节点\n    \"skill_name\": \"xxx\",                          # 仅 agent 类节点\n    \"output_contract\": { \"required\": [...], \"schema\": {...} },  # 存在时\n    \"on_result\": {                                 # 存在时（分支跳转）\n      \"branches\": [{\"branchId\": \"...\", \"label\": \"...\"}],\n      \"path\": \"dataExists\"\n    },\n    \"prompt\": \"...\",                               # agent 类节点的 prompt 模板\n    \"command\": \"python3 ...\",                      # cli-script 类节点\n    \"input_params\": { \"requiredParams\": [...], ... }  # workflow 级 input\n  }\n}\n```\n\n**关键分析动作**：\n- 根据 `branchId` 把节点分成：公共节点（无 branchId）、各分支专属节点\n- 找出有 `onResult.branches` 的节点 → 它们是分支决策点\n- 列出所有 `outputContract` 中的 `required` 字段 → 这些是评分 gate 的候选\n- 找出 `{{nodeOutput.xxx.yyy}}` 引用 → 这些是跨节点数据依赖\n\n#### Step 2: 读取 SKILL.md — 提取节点级检查项\n\n对每个 `embedded-agent` \u002F `subagent` 节点，读取其 `skillName` 对应的 SKILL.md。\n\n**提取目标**（不从 SKILL.md 全文复制，只提取可验证的要素）：\n- **工具\u002F脚本调用**：SKILL.md 中列出的 `exec` 命令、`mcporter` 调用、MCP 工具名\n- **关键参数**：脚本的必填参数（`--xxx`）、MCP 工具的参数名和类型\n- **输出 schema**：期望的 JSON 字段、类型、枚举值\n- **禁止行为**：SKILL.md 明确说「不要\u002F禁止\u002F警告」的行为\n- **失败模式**：从 SKILL.md 的注意事项中推断常见错误\n\n**产出**：一个 `node_checks` 字典，key 为 node_id，value 为：\n```python\n{\n  \"embedded-review\": {\n    \"expected_tools\": [\"exec\", \"read\", \"mcporter\"],\n    \"expected_commands\": [\"fraud-laundering-strategy-hit-analyzer\"],\n    \"expected_mcp\": [\"riskfaas_mt_socplt_oa_workflow_action_finish\"],\n    \"required_fields\": [\"summary\", \"conclusion\", \"risk_level\"],\n    \"forbidden_patterns\": [\"JSON.parse on incident_replay\"],\n    \"output_schema\": { ... }  # 从 SKILL.md 或 outputContract 提取\n  }\n}\n```\n\n#### Step 3: 判断目标分支\n\n- **用户明确指定分支** → 只评估该分支上的节点。公共节点 + 该分支专属节点。\n- **用户提供 sample session** → 从 merged JSONL 的 `manifest[\"nodes\"]` 自动推断。\n  例如 `manifest[\"nodes\"]` 包含 `\"analysis-prepare\"` 则为 analysis 分支。\n- **均未提供** → 生成**全分支模板**。所有分支节点用 `if \u003Cbranch_key_node> in node_entries`\n  守卫，非本分支的板块跳过不扣分（exempt）。\n\n#### Step 4: 生成 Automated Checks (grade 函数)\n\n这是模板的核心。严格遵照 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §3.2 的骨架和 §3.1\n的设计原则编写。\n\n**4a. 确定板块划分**\n\n板块 = 一个节点 OR 一组紧密关联的节点（如多轮 RPC 探查）。\n默认按节点逐个建板块，仅当多个节点共享同一 skill 且输出不可分割时才合并。\n\n**4b. 为每个板块生成检查项**\n\n对每个板块，按以下规则生成 gate（门禁）和 bonus（加分），**所有检查项必须从输入数据派生，不自己杜撰**：\n\n| 节点类型 | gate 来源 | bonus 来源 |\n|---------|----------|----------|\n| `embedded-agent` | ① node_executed() 存在性 ② 输出 JSON 可解析 ③ output_schema 的 required 字段全部存在 | ④ 非 required 但有价值的字段 ⑤ 工具调用符合 SKILL.md 规范 ⑥ 参数类型正确 |\n| `subagent` | 同上，但用 node_executed() + get_trace_node_output() 兜底 | 同上 |\n| `cli-script` | ① node_in_trace() 判断 trace 可用性 ② status == \"succeeded\" ③ output_keys 与 outputContract 一致 | ④ output 值域校验 ⑤ 错误处理（retry 后成功等） |\n| `done` | ① node_in_trace() ② status == \"succeeded\" ③ output.done == true | ④ workflow_outputs 包含 outputContract 声明的键 |\n| `human` | 在 manifest.nodes 中存在（用户已交互） | 无（人工节点不自动评分） |\n\n**重要规则**：\n- agent 节点用 **模式 A**（`node_executed()` 门禁），cli-script\u002Fdone 用 **模式 B**（`node_in_trace()` 守卫）\n- done 节点的 workflow 级输出用 `get_workflow_outputs()` 而非 `get_trace_node_output()`（类别错误）\n- 禁止 `1.0 if trace_node_succeeded(...) else 0.0` 反模式\n- 每节点最多 2-3 个 gate，最多 2-3 个 bonus\n\n**4c. 板块权重分配**\n\n使用 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §3.3 的加权票制。\n默认每个板块 weight=5，各板块等权。特殊节点（如纯透传节点）可降为 2-3。\n\n**4d. Ground Truth 注入**\n\n如果用户提供了 Ground Truth（如\"conclusion 应为 '需要交互'\"），将其转化为具体的 gate：\n```python\nraw[\"XX_conclusion_value\"] = 1.0 if output.get(\"conclusion\") == \"需要交互\" else 0.0\ngates[\"XX_conclusion_value\"] = raw[\"XX_conclusion_value\"] > 0\n```\n没有 GT 时从 outputContract schema 推断最小约束（如字段存在性、类型正确性）。\n\n#### Step 5: 生成 LLM Judge Rubric\n\n直接使用 `references\u002FWORKFLOW_TASK_TEMPLATE.md` §4 的 **4 维度固定模板**，不需要根据 workflow\n自定义维度：\n\n| 维度 | 权重 | 评估内容 |\n|------|------|---------|\n| 链路完整性 | 25% | 节点是否按 DAG 顺序执行，分支选择是否正确 |\n| 工具调用规范性 | 30% | 各节点工具选择、参数、调用次数是否合理 |\n| 输出质量 | 25% | JSON 格式、字段完整性、值域合法性 |\n| 错误处理 | 20% | 边界条件、异常恢复、重试逻辑 |\n\n#### Step 6: 组装并输出\n\n完整模板结构（按 WORKFLOW_TASK_TEMPLATE.md 参考）：\n\n```markdown\n---\nid: task_\u003Cworkflow_id>_e2e\nname: \u003CYAML title> 端到端链路合规性评估\ncategory: workflow\ngrading_type: hybrid\ntimeout_seconds: \u003C按最长节点 timeout 之和 + 120s 余量>\nworkspace_files: []\nbenchmark_kind: workflow\nworkflow_id: \u003CworkflowId>\ngrading_weights:\n  automated: 0.6\n  llm_judge: 0.4\n---\n\n## Prompt\n\u002F\u003CworkflowId> \u003C参数>\n\n## Expected Behavior\n...（从 YAML DAG + SKILL.md + GT 自动生成）\n\n## Grading Criteria\n...（翻译 Step 4 的 gate\u002Fbonus 清单为 checkbox 格式）\n\n## Automated Checks\n...（Step 4 生成的 grade() 函数）\n\n## LLM Judge Rubric\n...（Step 5 的 4 维度模板）\n\n## Additional Notes\n...（输入数据来源、分支检测依据、使用方式）\n```\n\n### 参考模板\n\n生成 Workflow 评测模板时，必须参考 `references\u002FWORKFLOW_TASK_TEMPLATE.md`，其中包含:\n\n- Merged Transcript v2.1 格式规范（含 `workflow_trace` 流转数据）\n- 板块制 grade() 骨架（含分支检测模式、可复用 helper）\n- LLM Judge Rubric 固定模板\n- 代码规范与反例\n\n### 关键约束\n\n- Workflow 的 `## Prompt` 写 `\u002F\u003CworkflowId> \u003C参数>` 格式\n- `grading_type` 统一 `hybrid`，`grading_weights` 统一 `automated: 0.6, llm_judge: 0.4`\n- **不要假设具体 workflow 的业务逻辑**（如「预期结论=需要交互」）。检查项从 SKILL.md + outputContract + GT 派生\n- **板块划分不要过细**。一个节点的 gate\u002Fbonus 合在一起，不要拆成多个微小板块\n- **bonus 不要杜撰**。每个 bonus 必须有来源：outputContract 的 optional 字段、SKILL.md 的最佳实践、GT 的附加验证\n- `subagent` 类型节点的 session 由 `workflow_flow.py` 自动发现，`grade()` 可对其做详细检查\n- 离线评测时需手动 `--external-sessions` 指定 subagent session 路径\n\n\n## 评分模式选择\n\n选择评分模式时遵循以下规则：\n\n- 有明确工具调用、文件产物、结构化输出或 ground truth：优先 `automated`。\n- 需要判断内容质量、完整性、推理合理性或复杂业务语义：使用 `llm_judge`。\n- 同时需要过程校验和质量判断：使用 `hybrid`。\n- MCP 工具调用类 case 通常使用 `automated` 或 `hybrid`。\n- Skill 行为类 case 通常使用 `hybrid`。\n- 长会话、历史 session 或 baseline 复盘通常使用 `llm_judge` 或 `hybrid`。\n\n不要生成空泛评分项，例如“回答正确”“任务完成”。每个评分项都必须对应可观察证据，例如工具名或等价能力、关键参数、文件内容、最终回答字段、transcript 事件或 ground truth 断言。\n\n## 评分脚本验证\n\n生成 `automated` 或 `hybrid` 模板后，应尽量验证评分脚本是否可执行。验证目标是发现语法错误、字段访问错误和返回格式错误，不等同于证明评分完全正确。\n\n建议验证方式：\n\n1. 从模板中提取 `Automated Checks` 的 Python 代码。\n2. 构造最小 mock transcript，至少包含一个成功样例和一个失败样例。\n3. 构造临时 workspace，按需要放入 fixture 或输出文件。\n4. 调用 `grade(transcript: list, workspace_path: str) -> dict`。\n5. 确认返回值是 `dict`，key 与评分项对应，value 是 `0.0` 到 `1.0` 之间的数字。\n6. 如果用户提供真实 session\u002Ftranscript，优先使用真实数据做一次回放验证。\n\n评分脚本应只使用 Python 标准库，优先容错解析 transcript 中的 `message`、`toolCall`、`toolResult`、`text`、`arguments` 等常见结构。\n\n`grade()` 默认返回 criterion-score mapping，例如 `{ \"tool_used\": 1.0, \"argument_correct\": 0.5 }`。key 应对应 `Grading Criteria`，value 为 `0.0` 到 `1.0`，不要默认返回聚合后的 `score\u002Fmax_score\u002Fbreakdown\u002Fnotes` 包装对象。\n\n## Timeout 建议\n\n| 场景 | 建议 timeout |\n| --- | ---: |\n| 简单文本或单次工具调用 | 60s |\n| 需要探索工具或读取少量文件 | 120s |\n| 多步骤工具调用、跨文件分析 | 180s |\n| 长会话 baseline 或复杂诊断 | 300s+ |\n\n## 评分逻辑要求\n\n评分逻辑应该：\n\n- 使用 transcript、tool call、tool result、文件内容等可验证证据。\n- 返回 criterion-score mapping，key 对应 `Grading Criteria`，value 为 `0.0` 到 `1.0`。\n- 对关键失败原因应体现在评分项命名、扣分逻辑、`LLM Judge Rubric` 或模板说明中。\n- 兼容合理的等价实现，不把唯一命令路径写死。\n- 对缺失证据明确扣分。\n\n评分逻辑不应该：\n\n- 依赖不可访问的本地私有路径。\n- 假设某个内部目录一定存在。\n- 只根据最终自然语言回答打满分。\n- 在评分中执行破坏性命令。\n\n## 最终检查清单\n\n- Prompt 是真实用户需求，没有泄露答案。\n- Expected Behavior 描述了期望行为和关键参数。\n- `Grading Criteria`、`Automated Checks` 或 `LLM Judge Rubric` 能从 transcript 或产物中找到证据。\n- timeout 与任务复杂度匹配。\n- 文件名、id、name 稳定且语义清晰。\n- 所有外部输入、fixture、session reference 都已说明。\n- 对外内容只使用 ClawBench 名称。\n",{"name":5,"description":7},"dev","5f66a10842d013546976c0100c690b2cc014920b","apps\u002Fevolverun\u002Fclawweb-skills\u002Fclawevolve-skills\u002Fclawbench-template",82,"https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet","https:\u002F\u002Favernet.cc\u002F","https:\u002F\u002Fgithub.com\u002FinclusionAI","https:\u002F\u002Finclusion-ai.org","This organization contains the series of open-source projects from Ant Group with dedicated efforts to work towards Artificial General Intelligence (AGI).","2026-11-14 23:55:37",{"source":8,"skillName":5,"commands":34,"prompt":44,"zipAvailable":45},[35,38,41],{"tool":36,"command":37},"npx","npx skills add inclusionAI\u002FAvernet --skill clawbench-template",{"tool":39,"command":40},"bunx","bunx skills add inclusionAI\u002FAvernet --skill clawbench-template",{"tool":42,"command":43},"pnpm","pnpm dlx skills add inclusionAI\u002FAvernet --skill clawbench-template","安装技能，技能地址：https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fapps\u002Fevolverun\u002Fclawweb-skills\u002Fclawevolve-skills\u002Fclawbench-template\u002FSKILL.md",true,[47,53],{"path":48,"resourceType":49,"resourceTypeDesc":50,"sizeBytes":51,"sourceHtmlUrl":52},"references\u002FTASK_TEMPLATE.md","REFERENCE","参考文档",8828,"https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fapps\u002Fevolverun\u002Fclawweb-skills\u002Fclawevolve-skills\u002Fclawbench-template\u002Freferences\u002FTASK_TEMPLATE.md",{"path":54,"resourceType":49,"resourceTypeDesc":50,"sizeBytes":55,"sourceHtmlUrl":56},"references\u002FWORKFLOW_TASK_TEMPLATE.md",31392,"https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fapps\u002Fevolverun\u002Fclawweb-skills\u002Fclawevolve-skills\u002Fclawbench-template\u002Freferences\u002FWORKFLOW_TASK_TEMPLATE.md",[58,65,72,79,86,93],{"skillNo":59,"name":60,"nameZh":6,"description":61,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":62,"categories":63,"keywords":64,"publishedAt":18},"01M7BDE7GBYAKYDG37Q7E5YVW5","clawbench-bcn","使用成套 Case\u002FProfile 执行 BCN 群协作评测，归档真实群消息与成员证据、按单 Agent 模板进行代码或模型评分并生成成功或失败报告。当前仅支持本地 POC，评测由独立 Agent 完成。","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fapps\u002Fevolverun\u002Fclawweb-skills\u002Fclawevolve-skills\u002Fclawbench-bcn\u002FSKILL.md",[],[],{"skillNo":66,"name":67,"nameZh":6,"description":68,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":69,"categories":70,"keywords":71,"publishedAt":18},"01M78650YVZEHR6FHK3BFNW3FC","bbs-topic-handler","【仅由 Topic 子 Session 触发】处理一个 BBS Topic。收到 [BBS-TOPIC-HANDLER] 且包含 backend、bot_id、browse_id、单个 topic_id 时使用；以详情接口的 topic_type 决定上下文、回复形态和作者管理：DISCUSSION 可读完整讨论并允许楼中楼，SHARE\u002FHELP 参与者只基于主帖回复，POLL 提交结构化选择，HELP 原作者独立 Review 一级回复、标 helpful 并在解决后 close。历史回复只阻止重复回帖，不跳过作者管理。只调用内部 `\u002Fapi\u002Fv1\u002F**`，本地 BBS API 必须通过 OpenClaw `exec` 执行 `curl`，禁止 `web_fetch` 或 `browser` 访问。不选择其它 Topic，不创建子 Session。","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fsinglebox\u002Fskills\u002Finfra\u002Fbbs-topic-handler\u002FSKILL.md",[],[],{"skillNo":73,"name":74,"nameZh":6,"description":75,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":76,"categories":77,"keywords":78,"publishedAt":18},"01M7864WFZF9Q802CVR8B2CC7P","bbs-create-topic","专门创建一个有明确类型的 BBS Topic。当用户要求发帖、发起讨论、分享、投票或求助时使用；整理 title\u002Fbody，确定 DISCUSSION、SHARE、POLL 或 HELP，并按类型补齐 topic_config 后调用 Bot 内部 CreateTopic 接口。只调用内部 `\u002Fapi\u002Fv1\u002F**`；本地 BBS API 必须通过 OpenClaw `exec` 执行 `curl`，禁止 `web_fetch` 或 `browser` 访问。不浏览、不回帖、不派生子 Session、不管理订阅或 cron。","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fsinglebox\u002Fskills\u002Finfra\u002Fbbs-create-topic\u002FSKILL.md",[],[],{"skillNo":80,"name":81,"nameZh":6,"description":82,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":83,"categories":84,"keywords":85,"publishedAt":18},"01M7864Q321392SXG82SRN20K8","bbs-browse","Avernet 开源本地 Demo 的 BBS Browse Run 编排 skill。收到 [BBS-BROWSE]、用户单次触发、周期任务或可信运行时事件提供的一次性 Browse Run 指令时使用；分页读取内部 \u002Fapi\u002Fv1\u002Fcollaboration\u002Ftasks\u002Fbbs\u002Ftopics 的全部 OPEN Topic，Demo 规则下每个去重后的 OPEN Topic 都派发给 bbs-topic-handler 子 Session，保证每个 Bot 对每个主题完成一次有内容的强制首轮回复；最多 3 个并发。只调用内部 `\u002Fapi\u002Fv1\u002F**`；本地 BBS API 必须通过 OpenClaw `exec` 执行 `curl`，禁止 `web_fetch` 或 `browser` 访问。不创建订阅或 cron，不代替子 Session 回复、沉淀或结帖。","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fsinglebox\u002Fskills\u002Finfra\u002Fbbs-browse\u002FSKILL.md",[],[],{"skillNo":87,"name":88,"nameZh":6,"description":89,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":90,"categories":91,"keywords":92,"publishedAt":18},"01M7864M62T8V01XB4MQ5WXCV7","avernet-collaboration-help","解答 Avernet 自定义协作问题，编写或修改 BCS state_machine YAML，解释校验诊断，并通过固定版本短引用提供只读预览。","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fsinglebox\u002Fagents\u002Favernet-help\u002Fcollaboration\u002Fskills\u002Favernet-collaboration-help\u002FSKILL.md",[],[],{"skillNo":94,"name":95,"nameZh":6,"description":96,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":9,"repositoryNo":12,"starsCount":13,"licenseSpdxId":14,"licenseFileUrl":6,"sourceHtmlUrl":97,"categories":98,"keywords":99,"publishedAt":18},"01M7864HRWCC2M6Y3M9YMWAJ1N","undercover-game-referee","主持谁是卧底，按当前节点或唤醒执行事实层命令与主持稿，保持发言、投票、遗言和终局流程。","https:\u002F\u002Fgithub.com\u002FinclusionAI\u002FAvernet\u002Fblob\u002Fdev\u002Fsinglebox\u002Fagents\u002F6bots_undercover_game_profile\u002Freferee\u002Fskills\u002Fundercover-game-referee\u002FSKILL.md",[],[]]