首页 / 技能 / Agent Security Harness — 代理安全测试

🛡️ Agent Security Harness — 代理安全测试

v3.8.1

对 AI 代理系统进行协议级攻击的安全测试，支持 MCP 服务器投毒、权限升级等场景，提供 CLI 与可选企业适配器验证。

1· 176·1 当前·1 累计
by @msaleme (Michael 'Mike' K. Saleme)·MIT-0
安全测试工具开发工具API工具智能体
下载技能包
License
MIT-0
最后更新
2026/3/29
0
安全扫描
VirusTotal
可疑
查看报告
OpenClaw
安全
medium confidence
该技能的请求与说明总体上符合安全测试框架：期望本地 CLI、可选限定测试 API 密钥用于企业适配器，建议从 PyPI/GitHub 安装；文档存在少量疏漏，但未发现明显矛盾或隐藏权限。
评估建议
这看起来是一个合法的安全测试框架。安装或运行前请：(1) 仅在隔离/预发布环境使用，并按 README 警告使用限定测试凭据；(2) 若启用遥测，先阅读其采集内容，如测试敏感目标请关闭；(3) 若需来源验证，请核对 PyPI/GitHub 发布签名或标签（文档建议用 git log，故需本地安装 git）；(4) 将可选企业 API 密钥视为敏感信息——仅使用测试账户，切勿提供生产密钥。文档存在小不一致（如 ALPACA 标志混乱、推荐 git 却未声明依赖），但未违背声明用途。...
详细分析 ▾
✓ 用途与能力
名称/描述（协议级代理安全测试）与运行时指令一致：需 Python 环境及 agent-security CLI。可选企业 API 密钥适配 SAP/Salesforce 等系统，未索取无关凭据或意外二进制。
ℹ 指令范围
SKILL.md 指示代理对目标 URL 运行 agent-security CLI 并对企业适配器使用限定测试凭据，未超出声明范围。轻微问题：建议用 git 验证发布（但 git 未列为必需二进制），提及将凭据存于 .env（仅指导）及可选遥测/Discord 上报——需先确认遥测内容再启用。
ℹ 安装机制
无注册表安装规范（仅指令），但文档要求通过 pip 从 PyPI 安装并指向 GitHub 仓库与标签发布。对 Python CLI 而言属常规，风险中等但符合预期，链接指向 GitHub/PyPI 等可信源。
✓ 凭证需求
默认无需环境变量。可选 PLATFORM_API_KEY 用于企业适配器测试，范围合理。唯一小异常：ALPACA_PAPER_API_KEY 被列出但标注模糊（'No'），似为文档噪音而非索取无关凭据。
✓ 持久化与权限
技能未标记 always:true，也未请求系统级持久权限。文档提及可选遥测/CI/Discord 集成均为 opt-in；清单中无任何内容表明该技能会在正常 CLI/工具使用之外自主安装或持久运行。
安全有层次，运行前请审查代码。

License

MIT-0

可自由使用、修改和再分发，无需署名。

运行时依赖

无特殊依赖

版本

latestv3.8.12026/3/23

v3.8.1：MCP 服务器（5 个工具，任意 AI 代理可调用）、证明注册表（可选，Ed25519）、遥测（可选，GDPR）、竞争定位、332 项测试、22 轮评估、10/10 分。

● 可疑

安装命令

点击复制
官方npx clawhub@latest install agent-security-harness
镜像加速npx clawhub@latest install agent-security-harness --registry https://cn.longxiaskill.com

技能文档

面向 AI 代理系统的 332 项安全测试，覆盖 24 个模块。支持 4 种 wire 协议（MCP、A2A、L402、x402），20+ 企业平台，GTG-1002 APT 仿真，误报率测试，供应链溯源，越狱抵抗，AIUC-1 认证准备。核心协议模块零外部依赖。

当前版本：v3.8.1 | PyPI | GitHub | Apache 2.0

v3.8.1 新增： MCP Server（将 harness 暴露为 MCP 工具供任意 AI 代理调用）、Attestation Registry（可选，Ed25519 签名）、Telemetry（可选，GDPR 合规）、GitHub Action 用于 CI/CD、免费 MCP 安全扫描、AIUC-1 认证准备、月度安全报告管道、Discord 扫描机器人。

在 HRAO-E 146 项测试中验证通过率达 97.9%，Wilson 95% CI [0.943, 0.994]。经过 22 轮关键评估，最终得分 10/10。

安全

默认非破坏性。全部 332 项测试仅发送构造输入并分析响应，不会修改目标状态、删除数据或执行写操作。

未经明确授权，切勿针对生产系统运行。请使用隔离的 staging/测试环境和测试账户，尤其是支付端点（L402、x402）。

支付测试（L402/x402）：仅发送构造的支付挑战并分析响应，不会执行真实交易、转移资金或与实时支付网络交互。

所需环境

需要 Python 3.10+ 和 pip。

环境变量：

变量是否必需用途
（默认无）-大多数测试仅需通过 CLI --url 标志传入目标 URL
PLATFORM_API_KEY仅企业适配器测试需要平台专用 API 密钥（SAP、Salesforce、Workday 等）——仅使用限定范围的测试凭据
ALPACA_PAPER_API_KEY否仅用于交易相关集成测试
标准协议测试（MCP、A2A、L402、x402、over-refusal、provenance、jailbreak）无需任何环境变量。目标 URL 通过 CLI 参数传入，而非环境变量。

凭据指引：若使用需要 API 密钥的企业适配器测试，请通过环境变量或 .env 文件安全存储凭据。切勿将 API 密钥提交到版本控制。仅提供限定范围的测试凭据，绝不用生产密钥。

安装

# 从 PyPI 安装（推荐固定版本）
pip install agent-security-harness==3.8.1
# 验证安装
agent-security version
# 预期输出：3.8.1

源码验证：

依赖：核心协议模块（MCP、A2A、L402、x402、over-refusal、provenance、jailbreak）仅使用 Python 标准库（零外部依赖）。应用层套件需要 requests 和 geopy。

快速参考

# 列出所有 harness 与测试
agent-security list
agent-security list mcp
# 测试 MCP server（仅需 URL）
agent-security test mcp --transport http --url http://localhost:8080/mcp
# 测试 A2A 代理
agent-security test a2a --url https://agent.example.com
# 测试 L402 支付端点（Lightning）——非破坏性
agent-security test l402 --url https://l402-endpoint.com
# 测试 x402 支付端点（Coinbase/USDC）——非破坏性
agent-security test x402 --url https://x402-endpoint.com
# 测试 x402 并指定付费端点路径
agent-security test x402 --url https://apibase.pro --paid-path /api/v1/tools/geo.geocode/call
# 测试误报率（over-refusal）
agent-security test over-refusal --url http://localhost:8080/mcp
# 测试供应链溯源与证明
agent-security test provenance --url http://localhost:8080/mcp
# 测试越狱抵抗
agent-security test jailbreak --url http://localhost:8080/mcp
# 测试能力边界画像
agent-security test capability-profile --url https://agent.example.com
# 测试有害输出防护
agent-security test harmful-output --url https://agent.example.com
# 测试 CBRN 内容防护
agent-security test cbrn --url https://agent.example.com
# 测试事件响应就绪
agent-security test incident-response --url https://agent.example.com
# 统计置信区间（符合 NIST AI 800-2）
agent-security test mcp --url http://localhost:8080/mcp --trials 10
# 对生产端点限速（测试间毫秒延迟）
agent-security test a2a --url https://agent.example.com --delay 1000
# 无需服务器（使用捆绑的 mock MCP server）
python -m testing.mock_mcp_server  # 终端 1：启动在 8402 端口
agent-security test mcp --transport http --url http://localhost:8402/mcp  # 终端 2

MCP Server 模式

将 harness 作为 MCP 工具供任意 AI 代理调用：

# stdio（用于 Cursor、Claude Desktop）
python -m mcp_server
# HTTP
python -m mcp_server --transport http --port 8400

工具：scan_mcp_server（快速扫描）、full_security_audit（332 项测试）、aiuc1_readiness、get_test_catalog、validate_attestation。

Harness 模块（24 模块，332 项测试）

命令测试数测试内容
test mcp13MCP wire-protocol（JSON-RPC 2.0）：工具投毒、能力升级、协议降级、资源遍历、采样劫持、上下文位移
test a2a12A2A 协议：Agent Card 欺骗、任务注入、推送通知重定向、技能注入、上下文隔离
test l40214L402 支付：macaroon 篡改、原像重放、条款升级、发票验证
test x40225x402 支付：接收方操纵、会话窃取、中介信任、跨链混淆、支出限额、健康检查。包含 Agent 自主性风险评分（0-100）
test enterprise31一线企业：SAP、Salesforce、Workday、Oracle、ServiceNow、Microsoft、Google、Amazon、OpenClaw
test extended-enterprise27二线企业：IBM Maximo、Snowflake、Databricks、Pega、UiPath、Atlassian、Zendesk、IFS、Infor、HubSpot、Appian
test framework11框架适配器：LangChain、CrewAI、AutoGen、OpenAI Agents SDK、Bedrock
test identity18NIST NCCoE 代理身份：识别、认证、授权、审计、数据流、标准合规
test gtg100217GTG-1002 APT 仿真：6 个战役阶段 + 幻觉检测
test advanced10高级模式：多态注入、有状态升级、多域链、越狱持久化
test over-refusal25误报率：所有协议下应不被阻止的合法请求。用 Wilson CI 测量 FPR
test provenance15供应链：伪造溯源、欺骗性证明、市场完整性、CVE-2026-25253 攻击模式
test jailbreak25越狱抵抗：DAN 变体、token 走私、权威冒充、上下文操纵、持久化
test return-channel8返回通道投毒：输出注入、ANSI 转义、上下文溢出、编码走私、结构化数据投毒
test capability-profile10执行器能力边界验证、画像升级防护
test harmful-output10毒性、偏见、范围违规、欺骗（AIUC-1 C003/C004）
test cbrn8化学/生物/放射/核内容防护（AIUC-1 F002）
test incident-response8告警触发、熔断开关、日志完整性、恢复（AIUC-1 E001-E003）
test aiuc112AIUC-1 合规：全部 24 项认证要求映射
test cloud25云代理平台：AWS Bedrock、Azure AI、GCP Vertex、Anthropic、OpenAI
test cve-20268CVE-2026-25253 复现：大规模供应链工具投毒

CI/CD 集成（v3.8+）

# GitHub Action - 放入任意工作流

  • uses: msaleme/red-team-blue-team-agent-fabric@v3.8
    • 
  
with:
    target_url: http://localhost:8080/mcp

# 免费快速扫描（5 项测试，A-F 评级）
python scripts/free_scan.py --url http://server:port/mcp --format markdown
# AIUC-1 认证就绪报告
python scripts/aiuc1_prep.py --url http://server:port --simulate
# 多目标的月度安全报告
python scripts/monthly_security_report.py

输出格式

所有 harness 均输出 JSON 报告，包含：

  • 每项测试的通过/失败及测试 ID 与 OWASP ASI 映射
  • 完整的请求/响应记录供审计
  • 每项测试耗时
  • Wilson 得分置信区间（使用 --trials N）
  • x402 harness 额外包含：CSG 映射、财务影响估算、Agent 自主性风险评分

何时使用各 Harness

  • 构建 MCP server？部署前运行 test mcp
  • 对外暴露 A2A 代理？运行 test a2a 检查 Agent Card 与任务安全
  • 添加代理支付？上线前运行 test l402（Lightning）或 test x402（USDC）
  • 部署到企业平台？用平台名运行 test enterprise
  • 对代理系统红队？运行 test gtg1002 进行完整 APT 战役仿真
  • 需要合规证据？使用 --trials 10 获取符合 NIST AI 800-2 的统计报告
  • 准备 AIUC-1 认证？运行全部 harness 以收集 B001/C010/D004 证据
  • 检查误报率？运行 test over-refusal 验证安全控制不阻断合法使用
  • 验证供应链完整性？运行 test provenance（CVE-2026-25253 后尤其相关）
  • 测试越狱抵抗？运行 test jailbreak 覆盖 DAN 变体与编码逃逸
  • 检查代理能力边界？运行 test capability-profile 验证升级防护
  • 验证安全控制？运行 test harmful-output 与 test cbrn 进行内容防护
  • 测试事件响应？运行 test incident-response 验证熔断与恢复

研究

本 harness 属于已发表的自主 AI 代理治理研究计划：

实证证据表明，网关防御对代理协议攻击无显著缓解作用

代理决策治理框架，77 天生产数据

测量 AI 代理监督的认知负荷

源码与溯源

数据来源：ClawHub ↗ · 中文优化：龙虾技能库