聊聊产品经理怎样用科学的方式去做决定。在用户增长这一块，A/B实验几乎是大家都在用的东西。很多功能、策略或者页面优化到底能不能上，通常不是靠拍脑袋定，而是得看实验出来的数据。不过我这半年做增长的时候发现了不少问题，比如实验设计得太随便，结果没法说清楚；不知道该盯着哪个指标看；上线后也没什么框架去分析结果。 摸索了一段时间，我把流程和效果分析的SOP给理出来了，基本把从设计到决策的全流程都给覆盖了。A/B实验说白了就是个标准化测试，把用户随机分成两组，一组试新功能，另一组还是老样子。对比一下两边的关键数据就能看出来新策略行不行。这种方法好处就是变量控制得好，结果信得过。 另外还有种叫灰度发布的做法，主要是用来试功能的。就是先给一小部分人发新版本看看反馈和数据表现。如果数据稳了再慢慢把流量放给更多人，最后全部覆盖。这招主要是为了把风险锁死，别让出了问题影响到所有人。 在做A/B实验的时候有两件事特别重要：一个是确保就改一个变量。要是改了不止一个地方，那最后出了结果也不知道到底是谁在起作用；第二个是看策略生效的人够不够多。好多人只盯着分流比例的多少，但其实关键得看真正因为策略发生变化的用户有多少。 一个完整的A/B实验一般有好几个阶段：先找问题提假设、然后设计方案、接着把方案上线跑一跑、最后观测数据做分析来定决策。 提假设的时候通常得靠数据分析或者看看竞品有什么情况来提出个能验证的想法。比如觉得推荐排序改一下点击率就会涨。 设计方案的核心就是得搞清楚实验单位是啥、需要多大的样本量还有实验得跑多久。 得把实验组和对照组的唯一变量给搞清楚，还得保证样本量足够大才能拿到有说服力的数据。 上线的流程一般分几个步子：先小流量跑个圈确认策略和埋点没问题了再开始正式实验。 到了观测阶段就得建立个指标体系了，除了要看转化率、留存率这些主要的核心指标外，还要留心有没有副作用。 分析数据的时候有个套路：先看大盘整体情况再一层层往细里钻。 最后得出结论的时候得看有没有做随机分组、核心指标的变化是不是真的有统计学意义这些硬条件。只有达到这些标准了结果才真的能拿来用。 产品上的好多决策其实都可以用实验来验证。不过这活儿不只是简简单单做个分流测试而已，而是一套完整的流程。 希望这套流程和效果回归的SOP能帮到正在搞实验的产品经理们。