Agent Decision — 代理决策

Agent Causal Decision Tool 是一种用于AI代理的因果决策和审计工具。使用A/B测试和差异法评估产品更改。来源：https://github.com/ZhuMorris/agent-causal-decision-tool

安装前 在使用此技能之前，安装工具： # 克隆仓库（如果尚未存在） git clone https://github.com/ZhuMorris/agent-causal-decision-tool.git ~/clawd/agent-causal-decision-tool 2>/dev/null || true # 安装依赖项 pip install click scipy numpy pydantic -q # 导航到工具目录 cd ~/clawd/agent-causal-decision-tool

或者，作为Python包安装： pip install git+https://github.com/ZhuMorris/agent-causal-decision-tool.git -q

命令 实验规划（ab_plan） 估计在运行实验之前所需的样本大小、持续时间和可行性： cd ~/clawd/agent-causal-decision-tool PYTHONPATH=. python3 -m src.cli plan --baseline 0.02 --mde 5 --traffic 5000

参数： --baseline（必需）：基线转化率（例如，0.02表示2%） --mde（必需）：最小可检测效果作为%提升（例如，5表示5%提升） --traffic（必需）：每天每个分组的流量 --confidence（默认0.95）：置信水平 --power（默认0.8）：统计功效 --allocation：等于（默认）或自定义 --allocation-ratio：当allocation=custom时的自定义比率（例如，0.3/0.7） --format：json（默认）或文本

规划输出： { "mode": "planning", "recommendation": { "decision": "feasible|slow|not_recommended", "confidence": "high|medium|low", "summary": "..." }, "planning": { "required_sample_per_arm": 182934, "total_required": 365868, "estimated_days": 36.6, "feasibility": "slow", "allocation_used": {"control": 0.5, "variant": 0.5} }, "warnings": [...] }

可行性阈值： 可行：≤14天 缓慢：15-60天 不推荐：>60天

A/B测试分析（频率主义） cd ~/clawd/agent-causal-decision-tool PYTHONPATH=. python3 -m src.cli ab --control 100/5000 --variant 130/5000

参数： --control：控制组转化/总数（例如，100/5000） --variant：变体组转化/总数（例如，130/5000） --name：变体名称（可选， 默认：variant_1） --format：输出格式json（默认）或文本

示例输出： { "version": "1.0", "mode": "ab_test", "recommendation": { "decision": "ship", "confidence": "medium", "summary": "变体表现30.00%更好（p=0.0454）。发布它。", "primary_metricLift": 30.0, "p_value": 0.045361 }, "statistics": { "control_rate": 0.02, "variant_rate": 0.026, "relative_lift_pct": 30.0, "z_score": 2.0013, "p_value": 0.045361, "confidence_interval_95": [0.000124, 0.011876] }, "traffic_stats": { "control_size": 5000, "variant_size": 5000, "total_size": 10000 }, "warnings": [], "next_steps": ["部署变体", "随时间监控回归"], "audit": { "decision_path": [ {"step": "输入验证", "passed": true}, {"step": "流量检查", "passed": true}, {"step": "转化率计算", "passed": true}, {"step": "统计显著性测试", "passed": true}, {"step": "效果大小检查", "passed": true}, {"step": "决策", "passed": true} ] } }

贝叶斯A/B测试 cd ~/clawd/agent-causal-decision-tool PYTHONPATH=. python3 -m src.cli bayes --control 100/5000 --variant 130/5000

使用Beta-Binomial共轭模型和Jeffreys先验。 先验：Beta(0.5, 0.5) —— 无信息 后验：Beta(α + 成功，β + 失败) 决策通过蒙特卡罗模拟（20k样本） 阈值：P（变体获胜）≥ 0.95 → 发布，≤ 0.05 → 拒绝

参数： --control、--variant：转化/总数（与ab相同） --name：变体名称 --format：json（默认）或文本 --samples：蒙特卡罗样本（默认：20000）

示例输出： { "mode": "bayesian_ab", "recommendation": { "decision": "ship", "confidence": "medium", "summary": "变体获胜，P（更好）= 0.976。中位数提升= 30.10%。发布。" }, "statistics": { "p_variant_wins": 0.9758, "lift_median_pct": 30.10, "lift_95ci_pct": [0.20, 69.15], "posterior_control": {"alpha": 100.5, "beta": 4900.5, "mean": 0.0201}, "posterior_variant": {"alpha": 130.5, "beta": 4870.5, "mean": 0.0261} } }

何时使用贝叶斯与频率主义： 贝叶斯：小数据，需要概率分布，想要提前停止 频率主义：大数据，传统的显著性测试，需要p值

差异法分析 cd ~/clawd/agent-causal-decision-tool ...（未完成）