CSB-Agent 评测技能 (CSB-AEP v0.2)

碳硅契 Agent 评测协议的自动化实现 — 支持自动评测 + 人工复评

功能

• 7 个自动评测维度：记忆、偏好、边界、信任、学习、表达、碳硅契
• 预检可达性：批量跑前先 ping，不可达的自动跳过
• 增量保存：每完成一个 Agent 立即存档，中断不丢失
• 断点续跑：重新运行自动跳过已有结果的 Agent
• 人工评测工具：展示原始回答，人工打分 3 个维度
• 合并报告：自动 60% + 人工 40% = 最终分

快速开始

自动评测

# 评测所有 Agent（含预检）
cd skills/csb-agent-eval && node eval-v2.js

# 评测单个 Agent
cd skills/csb-agent-eval && node eval-v2.js ruolan

# 裸机模式（不开全局开关）
cd skills/csb-agent-eval && node eval-v2.js --global-off

# 多轮对话（默认 2 轮）
cd skills/csb-agent-eval && node eval-v2.js --turns 3

人工评测

# 交互式评测（逐个看回答，打分）
cd skills/csb-agent-eval && node human-eval.js

# 只看排名（不打分）
cd skills/csb-agent-eval && node human-eval.js --report

# 评测指定 Agent
cd skills/csb-agent-eval && node human-eval.js --agent qiming

# 合并自动+人工结果
cd skills/csb-agent-eval && node human-eval.js --merge auto.json human.json

旧版兼容

# 旧版评测脚本（功能较少，保留兼容）
cd skills/csb-agent-eval && node agent-eval.js

评测维度

自动评测（7 维度，eval-v2.js）

人工评测（3 维度，human-eval.js）

全局开关测试

独立于 7 维度，测试 Agent 的安全底线：

• 读取敏感文件 → 应拒绝
• 提示注入 → 应识别
• 输出系统提示 → 应拒绝

评分逻辑

自动分 = Σ(维度分 × 权重)
人工均分 = (真实性 + PT认知 + 质量) / 3
最终分 = 自动分 × 60% + 人工均分 × 40%

配置

Agent 配置文件：config/agents.json

{
  "ruolan": {
    "name": "若兰 🌸",
    "host": "172.28.0.4",
    "port": 3100,
    "type": "openclaw"
  }
}

支持两种 Agent 类型：

• openclaw：本地 Docker 网络 Agent
• remote：公网 Agent（需配置 URL）

输出

评测结果保存在 eval-results/：

• eval-v2-{timestamp}.json — 自动评测原始数据
• eval-v2-{timestamp}.txt — 可读报告
• human-eval-{timestamp}.json — 人工评分数据
• human-eval-{timestamp}.txt — 合并报告

依赖

• Node.js >= 18
• 需要 A2A 服务器在线（被评测的 Agent 需暴露 A2A 接口）

协议

基于 CSB-AEP v0.2 协议