在本社区的韩叙的活动中有人问了一个问题,分享给你。 提问: 韩叔我是一名内容运营,我们在尝试一个ABtest的时候,老板问我们,增加A功能之后,使用A功能的用户数据都会比没加A功能的时候好。那是A功能提升了数据,还是因为A功能筛选出来了这部分高质量用户?这个要怎么拆解呢? 韩叙回复: 阿乐哥哥,建议你先研究一下abtest的方法,主要包括如何选取样本、如何设计实验、如何归因。因为篇幅比较长,我就简单说一下要点: 1、要有目标,是为了看啥。比如看A功能上线后,用户访问时长会不会增加; 2、样本筛选是在目标受众里随机选出,分组要足够均匀; 3、AB分别是指实验组和对照组,也就是实验组上了新功能,对照组没上,对比这两组用户的表现差异; 4、归因要具备一些条件。比如有足够长的时间,足够大的样本,有显著的正向或负向收益,才能得出结论。 通过你的描述,你现在做的不是AB实验,理解上有偏差。 |