新老版本数据比对那堆坑你都知道吗?
曾在EBay易趣工作时,所有项目的展开都以数据作为依据,而这些数据算法的依据通常是前后一致的。比如:评判设计好坏的指标Click/Pv。而最近在一次页面改版的项目后,我发现,其实数据指标是可以根据情况而随之变化的。
方案A未原来的页面,方案B为改版后的新页面。方案B最大的改动是去除了原有的Tab,取而代之是将重要信息集合在一个页面呈现。这个改动的想法是:将重要信息重新梳理,重要功能入口前置,让用户更容易发现;减少了用户去查看Tab的费力度,也避免顶部Tab不够突出让用户忽略一些信息。
那么问题来了:
1.前后版本如何比对质量?简单比对Click/Pv可行吗?
Click/Pv显然就不一定公正了。我们来具体分析一个问题:
假设有一个重要功能,在原方案中,存在于Tab1、Tab2、Tab3中,而在新版本中只会出现1次。这种情况容易出现以下几种常犯的错误:
1、用原版Tab1的Click/Pv 比 新版的Click/Pv(10%比13%)
显然是错误的。因为3个Tab分流了用户,任何一个Tab都无法和一个方案B做比对。
2、那可以用方案A的总Click/总PV 比 方案B的Click/Pv(9%比13%)是否就可以了呢?
这种比对中会导致偏差的就是PV,3个Tab的浏览量总和方案B的浏览量比对之间已经有非常大的偏差,因为浏过Tab1的人,又浏览Tab2,对于PV来说是计算了两次,分母会产生比较大的误差。
但是这里仍然有一个坑,坑在于Click的点击,如果算上Tab的点击,那么明显就量变大了。因此在Click加总的计算中要剔除掉Tab点击。
于是我舍弃这种PV比对方式,那么我想到是否应该用UV来进行比较。
我想用总Click/Pv,这样的含义是,一个独立用户在首页上所产生的点击频次。
而对于UV来说,首先,每个页面的UV已经是去重后的独立访问用户,但是我们不能把总UV理解为UV1+UV2+UV3,因为这3个UV中可能存在重复,所以必须提炼出3个Tab中去重后的总UV,和新首页的UV对比才有公正性。
通过这次数据比对的深入思考,最重要的比对是尽量减小版本直接的不公正因素,只有做到基本的公正比对出的结果才有价值。
联系我们谈谈你在量化产品设计上的挑战