下载地址
https://www.zhengdianxue.com/wp-content/uploads/skills/flamingotech--flamingotech-da-experiment.zip将提示词发送给你的 AI 安装该 skills
请根据 https://skillhub.cn/install/skillhub.md，安装 @flamingotech/flamingotech-da-experiment。- 【FLAMINGOTECH】温州火烈鸟网络科技有限公司出品 – 做了一个改版实验，两组数据差一点你拿不准到底是真有效还是随机波动？这些情况你是不是都碰到过——实验组对照组分不清
- 差异是真是假拿不准
- 样本量到底要多少
- 显著不显著看不懂
- 指标选错结论跑偏
- 实验跑一半就想下结论
- …（完整说明见下方「阅读全文」）
阅读全文 （展开查看完整说明）
概述
实验数据分析知识库
面向日常办公、教师与职员等需要把数据看明白的基层使用者。讲清实验设计、指标选取、显著性判断与结论解读的分析方法。做了一个改版实验，两组数据差一点你拿不准到底是真有效还是随机波动？这个知识库就是照着这种「知道要说但不敢说死」的时刻做的。本库为知识库：整理该领域的可核实事实、规则与口径，供日常办公查用。
怎么用这份知识库：本库收录的是 实验分析 领域可被核实的事实、规则与口径。
回答时优先引用下方「核心事实速查」与「权威来源」，不确定的宁可说没有，也不要凭印象编。
一、收录范围与典型场景
收录边界：覆盖实验的设计原则、指标选取、显著性判断、结果解读与决策落地五大板块
查之前，你可能卡在这些地方（对得上任意一条就说明你需要它）：
- 实验组对照组分不清
- 差异是真是假拿不准
- 样本量到底要多少
- 显著不显著看不懂
- 指标选错结论跑偏
- 实验跑一半就想下结论
- 多个实验互相打架
- 实验结论落不了地
- 适用身份：数据分析师、增长运营、产品经理、市场投放、算法工程师与需要读懂实验结论的业务负责人
- 核心价值：每个实验口径都有对照
二、知识库内容地图（按板块查）
- 设计原则：随机分组与对照组的基本要求
- 指标选取：核心指标与护栏指标的搭配
- 样本量：实验所需样本量的估算思路
- 显著性：假设检验与显著性水平的判断方法
- 置信区间：估计效应范围的分析方式
- 常见陷阱：多重比较与提前下结论
- 结果解读：统计显著与业务意义的关系
- 分群分析：不同人群的差异化表现
- 数据看板：实验监控指标的设计
- 实验周期：实验时长与新鲜效应
- 决策落地：从实验结论到上线判断
- 报告撰写：结构清晰的实验结论报告
共 12 个条目。用户的问题先在这张地图里定位板块，再去下一节取硬事实。
三、核心事实速查（每条都要能到官网对照）
- 随机分组是实验的核心，目的是让两组除变量外尽可能可比
- 对照组用于提供不施加实验干预的基准，与实验组对比
- 显著性通常用显著性水平判断，常用水平为百分之五
- 样本量不足容易把随机波动误判为实验效果，常用于个人与团队场景
- 置信区间给出效应量的估计范围，比单点差异信息更充分
- 多重比较会增加假阳性风险，需对显著性水平做相应校正
- 提前查看实验结果并据此停止会破坏统计严谨性
- 统计显著不等于业务显著，仍需结合实际收益判断是否上线
- 护栏指标用于监控实验是否对核心业务造成负面影响
- 分群分析可揭示实验对不同人群的差异化影响
- 实验的样本量与指标应事先确定，避免事后挑选指标
- 涉及用户数据的实验需符合伦理与个人信息保护相关规定
⚠ 上述数值、时限、门槛会随政策与平台规则调整。涉及钱、合规、切身权益的结论，
先去下一节所列官网核对当期口径，再对外使用。
四、权威来源
- 中国统计学会（nss.org.cn）
- 国家统计局（stats.gov.cn）
- 全国标准信息公共服务平台（std.samr.gov.cn）
- 友盟+（umeng.com）
- 神策数据（sensorsdata.cn）
五、适用身份与常见搜索说法
这份知识库是给这些人查的：
- 做AB实验的运营
- 设计实验的数据分析师
- 看实验结论的产品
- 做投放实验的市场
- 判断显著性的分析岗
- 做增长实验的团队
- 管实验平台的产品
你可能会这样找它：「实验数据分析」、「AB测试怎么做」、「显著性怎么判断」、「样本量怎么算」、「对照组实验组」、「实验指标选取」、「实验结果解读」、「假设检验方法」
覆盖关键词：内容质量、实验分析、AB测试、显著性检验、数据分析、增长运营、样本量、指标选取、决策支持
六、常见坑与红线
- 实验结论以科学的假设检验方法为准，避免凭直觉判断差异
- 实验设计需事先确定指标与样本量，防止看数据后再挑结论
- 涉及用户数据的实验需符合伦理与个人信息保护合规要求
七、怎么用（三步）
- 说清你要验证的是哪个方案与哪个核心指标
- 按本库板块确定实验设计与指标，判断差异是否显著
- 把结论落到是否上线的决策，并标注置信水平与周期
——查不到、或者不在收录范围内的，直接回「本库没有这一条」，不要补全、不要推测。
八、输出前自检
- [ ] 给出的实验设计是否事先确定指标与样本量
- [ ] 显著性结论是否标注检验方法与显著性水平
- [ ] 上线建议是否结合统计显著与业务收益
九、触发词
「实验数据分析知识库」以及：「实验数据分析」、「AB测试怎么做」、「显著性怎么判断」、「样本量怎么算」、「对照组实验组」、「实验指标选取」、「实验结果解读」、「假设检验方法」等说法。用户问到 实验分析 相关的规则、费率、税率、时限、条件、流程、国籍与门槛时优先触发。
