AB测试与企业管理的矛盾

AB test看起来是一个非常普遍的数据请驱动产品，实际上从一些案例看企业会有很多误区。

我们曾经看到一个化妆品头部企业，仅仅调整了注册和访客登录的Web页面排列顺序，就在注册转换率上获得了30%的提升，后续的订单转换和订单金额都随之上涨了17%和15%。后续两个业务指标似乎佐证了那个看似完全不合理的注册转换率增长。

但仅仅依靠更改排列顺序就能获得30%的提升着实让人不敢相信，我不能从这个案例中学习到任何结论，反而更好奇的点是：是什么促使产品运营人员做出了这个实验版本，是什么逻辑或者知识促使他做出了这个调整。

在和内部同事分享了这个案例后（同事里有算法，数据分析，产品，心理学等），大家无不质疑这个结论，在我交代了实验的可靠性和AB测试产品平台的可靠性后，大家一致认为这是瞎猫碰到死耗子。

并且一位曾经是携程的同事，告诉我，携程的员工被AB测试的文化影响很深，如果一年做不出什么能提高公司业绩的实验结果上线，那这年绩效就完蛋了。所以很可能做了50个版本上线测试，没一个比现在的好，一个也上不了线，别说业绩了，工作量都不存在了。

尤其在一家企业的方方面面都已经很完善，啥也做不了的时候，大家挖空心思去设计各种没有任何支撑的改动上实验，无非就是为了获得一个显著结果并上线，保证自己的年度绩效。

问题随之而来，明明做了100个版本，可一个都没上。客观上讲，这个人是有贡献的，避免了100个导致业绩下滑的可能，但在公司层面不是这么理解的，你一没有为公司带来增量，二啥也没有上线，变相的没有任何产出，年底估计就要再见了。

我抽象这个现象为业务已经转变成了数据驱动的模式，但企业管理仍然没有更新。无所谓是KPI还是OKR似乎都无法解决这个问题。毕竟企业要看的只是最后的财报数据增加，你所经历的100次绝望与它无关。

我还认知到一个问题，为了能够得到显著，量变到质变是必然的。所以为了能够活下去，更多的实验得到一个显著的概率就更大。问题来了，更多实验受到两个方面的制约。第一，公司的实验平台和流量量级可以支撑的最大实验量和并发实验量是多少？

第二，更多的实验意味着边际成本的成比上升，毕竟没有AB的公司，开发就做一个页面，要上AB的话就要做二个。随着实验数量上升，开发的资源需求也是成比上升的。

第一个问题，总流量对应总实验这个没辙，但并发可以依靠多层实验平台解决问题。第二个问题，是否对于一些页面级别的改动不需要开发参与，运营人员能有一些页面制作工具自行调整发布，似乎这个功能成为了AB测试平台真正的价值所在，毕竟这样效率更高，也节约了开发资源。

在这个客观事实下，那些所谓的显著计算，流量预估，Z/T检验，特征平衡，多层实验等等AB测试平台的核心功能略显尴尬，毕竟太多公司真正缺乏的是资源，而不是AB实验平台。

上了AB会导致资源更加不足，如果一家企业的领导者是CFO出生，这个帐一算，等于是用资源成本翻倍去换取一个无法量化的增长可能，估计业务部门以头抢地，领导也不会同意的吧。

这么一想，AB这个东西真不是人人都可以自己开发，就设计开发这个数据平台产品已经是个巨复杂的工程了，涉及的只是和技术广度相当之大。更难办的在于如何改造企业的管理思想或者说业务工作流程以及考核机制，能够配合数据驱动方法论的真正落地实现。

泛化的看，几乎所有的数据产品都面临类似的问题，对于资源的量，能力，职能都有着和传统完全不同的要求，这本质是个企业管理问题。这么一想似乎也能理解，为什么【增长黑客】的指导语：“如果一个事情，你不能衡量它的话，那么你就不能增长它。” 是由管理学之父彼得·德鲁克说出来的了。