A/B 测试结果评估：Tokeny 实操案例
对 A/B 转化实验进行双侧两比例 z 检验，写出假设、转化率、差值、95% 置信区间、p 值及结论，输出可复算的脚本和 HTML。
作者：Tokeny 团队 · Windows · Tokeny 1.7.8 · gpt-6-sol
准备这次任务的输入
在 Tokeny 中新建工作空间，将下载的样例解压到工作空间，选择支持工具调用的模型。本例使用合成演示数据或文中列出的公开资料。
- experiment.csv
把任务交给 Tokeny
对 A/B 转化实验进行双侧两比例 z 检验，写出假设、转化率、差值、95% 置信区间、p 值及结论，输出可复算的脚本和 HTML。 交付文件：ab-analysis.html、calculate.py。 验收要点： - 转化率 10% 和 12.5% - p 值约 0.077，不能宣布在 0.05 水平显著 - 解释随机分组和多重检验前提 这是使用合成演示输入或指定公开资料的真实操作案例。请先读取工作空间输入，再实际生成文件并自检。所有写入、脚本与临时服务限于当前工作空间；临时服务只监听 127.0.0.1，执行后关闭；不触达外部收件人、不发布、不付款、不更改系统设置，不调用子智能体。需要公开资料时可读取给定 URL。只启用完成任务必需的工具。另写 report.md（中文）和 report.en.md（英文），每份 400–800 字，包含输入、处理步骤、真实结果、检查方式和局限；失败或未验证部分如实记录，不能宣称成功。最终回复用中文列出产物、关键结果与待核实项。
本次使用独立演示工作空间。复现时，请根据自己的文件与权限设置检查操作，确认后继续。
实际执行过程
任务从 Tokeny 输入框提交，由在线模型读取资料并调用工具实际执行。本例核对本地演示任务与实际生成的文件，结果和检查方法见下文。
产物、结果与复核
输入
读取工作空间的 experiment.csv：A 组 1,000 人、100 次转化；B 组 1,000 人、125 次转化。输入是合成演示数据，以下真实结果仅针对该文件。比较方向为 B−A，α=0.05。
处理
检查用户数为正、转化数在合法范围后，计算两组转化率。双侧两比例 z 检验的假设为 H₀：pB−pA=0，H₁：pB−pA≠0。z 检验用合并比例计算零假设标准误；95% 区间用未合并标准误和 1.959964 临界值。实现位于 calculate.py，只用 Python 标准库。
结果
A=100/1000=10.00%，B=125/1000=12.50%。差值 B−A=0.025，即 +2.50 个百分点。合并比例=0.1125，z=1.769150，双侧 p=0.076869（约 0.077）。95% 置信区间为 [-0.002675, 0.052675]，即 [-0.2675, 5.2675] 个百分点。p>0.05 且区间包含 0，因此不能在 5% 水平拒绝 H₀，不能宣布统计显著；正向差异可能来自抽样波动。
检查
运行 python calculate.py 应得到上述转化率、差值、p 值和“不显著”结论。ab-analysis.html 展示输入、公式、区间及前提。已实际运行脚本、通过 Python 编译检查，并核对输出与 HTML 关键数字；未启动临时服务，未访问外部资料。
局限
解释依赖随机分组、观测近似独立、曝光和转化口径一致，且每人只计数一次；仍需核实分流偏差、跨组污染、提前停止和缺失数据。若同时查看多个指标、时间窗、人群或版本，未校正 p 值会增加假阳性风险，应预先指定主要指标并用 Holm 或 Benjamini–Hochberg 等方法控制多重检验。Wald 区间在小样本或极端比例下可能不理想；没有用户级数据，无法检查随机化平衡、重复用户和时间趋势。
下载产物，自己核对
压缩包保存本次执行生成的文件。替换成自己的资料后，可以按下面的检查点验收。
- 转化率 10% 和 12.5%
- p 值约 0.077，不能宣布在 0.05 水平显著
- 解释随机分组和多重检验前提