返回技能市场
Expert Review
当 AI 生成的测试用例已经过输出评审和盲区补盲、准备终审上线时使用此技能。由资深测试对 AI 输出的用例做人工抽样校验,从业务有效性、场景完整性、可执行性三个维度做最后把关。⚠️ 如果发现系统性问题(比如遗漏了某个关键模块),需要回退修正并记录到 Prompt 优化反馈库。专家评审不是走形式——发现的问题必须闭环。
SKILL.md
⚠️ 本技能单独使用效果有限,建议配合完整技能集(12 步工作流)使用。安装:npx skills add Kokxi/qa-test-skills
专家评审与元学习
核心原则
专家评审不是挑错,而是建立"AI生成→专家校验→持续优化"的正向循环。
评审流程
第1步:抽样策略
抽样方法:
├─ 随机抽样:10-20%的用例
├─ 分层抽样:P0用例100%覆盖,P1抽样50%,P2抽样20%
├─ 风险抽样:高风险用例100%覆盖
└─ 新功能抽样:新功能用例100%覆盖
抽样公式:
总用例数 < 50 → 全量评审
总用例数 50-200 → 20%抽样
总用例数 > 200 → 10%抽样 + P0全量
第2步:评审维度
| 维度 | 检查点 | 权重 |
|---|---|---|
| 完整性 | 是否覆盖所有需求点? | 30% |
| 准确性 | 测试步骤和预期结果是否正确? | 25% |
| 可执行性 | 步骤是否清晰可执行? | 20% |
| 风险覆盖 | 高风险区域是否深测? | 15% |
| 规范性 | 格式是否符合标准? | 10% |
第3步:校正标记
校正标记格式:
├─ [C-001] 问题类型:描述问题
├─ [C-002] 问题类型:描述问题
└─ ...
问题类型:
├─ MISSING:缺失场景
├─ WRONG:步骤/预期错误
├─ VAGUE:描述模糊
├─ REDUNDANT:冗余用例
├─ RISK:风险覆盖不足
└─ FORMAT:格式不规范
第4步:输出评审报告
# 专家评审报告
## 评审摘要
- 评审ID:REV-XXXX
- 评审日期:YYYY-MM-DD
- 评审专家:[姓名]
- 用例总数:XX条
- 抽样数量:XX条(抽样比例XX%)
## 评审结果
| 维度 | 评分 | 问题数 |
|------|------|--------|
| 完整性 | X/10 | X个 |
| 准确性 | X/10 | X个 |
| 可执行性 | X/10 | X个 |
| 风险覆盖 | X/10 | X个 |
| 规范性 | X/10 | X个 |
| 综合评分 | X/10 | - |
## 问题清单
| 用例编号 | 问题类型 | 问题描述 | 校正建议 |
|---------|---------|---------|---------|
| TC_XXX_001 | MISSING | 缺少并发场景 | 补充并发测试用例 |
| TC_XXX_002 | VAGUE | 步骤描述模糊 | 明确操作步骤 |
## 学习要点
1. 高频问题:[问题模式]
2. 改进方向:[具体建议]
3. Prompt优化:[优化建议]
## 元学习建议
- 更新checklist:[新增检查项]
- 优化prompt:[提示词调整]
- 补充技能:[需要增强的技能]
评审维度速查
各维度典型问题速查
| 维度 | 常见问题现象 | 重点关注 | 通过标准 |
|---|---|---|---|
| 完整性 | 缺少某个需求点/场景 | 需求追溯ID是否全部覆盖 | 每个需求点≥1条用例 |
| 准确性 | 预期结果与实际不符 | 业务规则是否正确应用 | 预期结果=需求定义 |
| 可执行性 | 步骤模糊/依赖不明确 | 新人能否按步骤执行 | 按步骤可复现 |
| 风险覆盖 | 高风险区域用例不够深 | 资金/安全/并发是否深测 | 高风险区域≥3条用例 |
| 规范性 | 格式不统一/字段缺失 | 是否使用标准模板 | 模板字段完整率100% |
常见问题严重度判定
| 问题类型 | 严重 | 一般 | 轻微 |
|---|---|---|---|
| MISSING | 核心功能缺失 | 非核心功能缺失 | 边缘场景缺失 |
| WRONG | 预期结果方向错误 | 步骤顺序错误 | 步骤表述不精确 |
| VAGUE | 完全无法执行 | 需少量猜测 | 措辞可优化 |
| RISK | 资金/安全未覆盖 | 非功能未覆盖 | 兼容性/体验未覆盖 |
| REDUNDANT | 完全重复且P0 | 场景重叠 | 边界略有重叠 |
| FORMAT | 完全无格式 | 部分字段缺失 | 格式可微调 |
加载时机
| 什么时候读 | 读哪个 |
|---|---|
| 把评审反馈沉淀为可复用资产时 | references/meta-learning.md |
元学习机制的完整内容已下沉至references/meta-learning.md,避免每次触发都占用上下文。
应用场景
AI生成了20条登录模块测试用例 → 抽样策略:按风险分层抽8条(P0全抽、P1抽50%、P2抽20%) → 评审维度:
- 功能覆盖:登录成功/失败/锁定(完整✅)
- 异常覆盖:密码错误/账号锁定(完整✅)
- 安全覆盖:SQL注入/XSS(遗漏❌) → 校正标记:补充安全测试场景 + 更新Prompt:新增"必须包含SQL注入和XSS测试" → 元学习:将安全场景缺失模式加入checklist
用户说"评审一下这个AI生成的用例" → 自动化评审流程:抽样→校验→校正→输出评审报告+Prompt优化建议
自检清单
评审完成后检查:
- 抽样策略是否合理?
- 评审维度是否覆盖?
- 校正标记是否规范?
- 评审报告是否完整?
- 学习要点是否提炼?
- Prompt优化建议是否具体?
检查清单
- 抽样是否覆盖高风险区域?
- 评审维度是否完整?
- 系统性问题是否识别?
- 改进建议是否可行?
- 评审报告是否生成?
评论与讨论
0/2000
还没有评论,分享你的体验吧。