← ClaudeAtlas

pm-abtestlisted

Use when: 需要验证产品优化效果、进行数据驱动的A/B实验决策、评估功能改动的因果影响 Do NOT use when: 改动无法量化测量、样本量不足、不需要严格统计验证
konglong87/superPM · ★ 22 · Testing & QA · score 84
Install: claude install-skill konglong87/superPM
## Preamble ```bash bash "$(dirname "${BASH_SOURCE[0]}")"/check-update.sh 2>/dev/null || true mkdir -p docs/03-增长迭代/A-B测试 echo "🧪 A/B测试工具已启动" # 检查数据指标体系 if [ -f "docs/02-方案设计/数据指标体系.md" ]; then echo "✅ 数据指标体系 - 已找到" else echo "⏳ 数据指标体系 - 未找到" fi ``` --- ## 执行流程 ### 步骤 1: 定义测试假设 使用 AskUserQuestion 询问: > 🎯 A/B测试假设设定 > > A/B测试需要明确的假设。请描述: > > **测试背景**:为什么要进行这次测试? > *示例:注册转化率低于行业平均水平(2% vs 行业5%)* > > **测试假设**:如果{改变什么},那么{预期结果},因为{原因}。 > *示例:如果将注册按钮从页面底部移到顶部,那么注册转化率将提升20%,因为用户更容易看到按钮。* > > 请描述您的测试假设: 记录到变量 `TEST_HYPOTHESIS` --- ### 步骤 2: 设计实验方案 > 🔬 实验方案设计 > > **实验变量**: > - 对照组(Control):当前版本(现状) > - 实验组(Treatment):{改动描述} > > **关键指标**: > - 核心指标(Primary):{指标名称} - 直接影响业务结果 > - 辅助指标(Secondary):{指标名称} - 帮助理解变化原因 > - 护栏指标(Guardrail):{指标名称} - 确保不损害用户体验 > > **示例(注册按钮测试)**: > - 核心指标:注册转化率 > - 辅助指标:点击率、页面停留时长 > - 护栏指标:页面跳出率、用户满意度 > > 请确认关键指标: > > A) 指标合理,继续下一步 > B) 需要调整核心指标 > C) 需要补充辅助指标 --- ### 步骤 3: 样本量计算 > 📊 样本量计算 > > 需要的参数: > > | 参数 | 说明 | 输入 | > |------|------|------| > | 基准转化率 | 对照组当前指标值 | [X]% | > | 最小可检测提升 | 期望的最小提升幅度 | [X]% | > | 显著性水平(α) | 通常设为5%(0.05) | 0.05 | > | 统计功效(1-β) | 通常设为80%(0.8) | 0.8 | > > **估算结果**: > > - 所需样本量(每组):约[X]个用户 > - 总样本量:约[X]个用户 > - 预估测试周期:约[X]天(基于当前日均流量) > > **样本量是否可行?** > > A) 可行,按此方案执行 > B) 样本量过大,需要调整参数 > C) 样本量太小,需要延长测试周期 --- ### 步骤 4: 设定测试周期 > ⏱️ 测试周期设定 > > **最小运行时间**:{X}天(基于样本量计算) > **建议运行时间**:至少7天(覆盖工作日和周末) > **最大运行时间**:{X}天(避免环境变化影响) > > **运行规则**: > - 流量分配:50%对照组 / 50%实验组 > - 用户分桶:按用户ID hash 随机分配 > - 互斥实验:确保同一用户不参与多个冲突实验 > >