个人网站制作模板响应式,更改网站标题,小馋网站建设书,帮彩票网站做流量提升AB Testing在软体工程领域是一个耳熟能详的词#xff0c;大家都知道AB Test的重要性。当产品经理提出的需求不合里#xff08;太难做#xff09;时#xff0c;程序员们心理总是os#xff0c;你怎么知道客户到底要什么#xff0c;不也是拍脑袋想的吗#xff0c;这时候我们…AB Testing在软体工程领域是一个耳熟能详的词大家都知道AB Test的重要性。当产品经理提出的需求不合里太难做时程序员们心理总是os你怎么知道客户到底要什么不也是拍脑袋想的吗这时候我们可能会提出另一种作法并要求他她去做一个AB Test来验证哪一个作法更好。 但是大家可能不知道要做一个成功的AB Test实验它背后的成本是非常巨大的。首先你必须做许多的分析了解用户习惯与需求然后做出合理的假设并决定变数variation接著需要工程部门协助将AB Test进行实作并采集相关数据有了数据之后产品经理需要根据假设建立模型来验证假设不断迭代最后获得一个结论。这个成本在B2B中尤其庞大影响因素非常的多包含取样率、用户特性等这也使得许多B2B领域的产品经理对AB Test望而怯步。 那么到底在B2B领域中要不要做AB Test呢本篇大哉问就要带大家来探讨下这个问题了 什么是AB Test
在开始大哉问之前想先跟大家科普一下何谓AB Test也让我们在后续讨论时能有更多的共鸣。 AB Test是一种以统计为导向的测试方法在一个页面中针对某一场景进行两种或以上的假设并在同一时间内对不同的用户进行测试以观察用户的反应。 AB Test通常包含以下的流程 首先在进行AB测试之前产品经理需要先针对场景进行研究并建立假说。接著从假说当中归纳出变数来决定实验如何进行有了这些前置步骤后就能进入到真正的测试环节将两种假说实现到产品当中并投放给不同的人群进行使用以蒐集数据。最后产品经理需要针对这些反馈数据进行分析以获得实验结果并确立方案。 我们用几个真实的案例来描述一个AB Test是如何进行的。
真实案例form表单设计 第一个案例是某云计算产品相关公司的报价单产生系统。产品经理在设计阶段调研了自家产品目前用户的报价习惯与流量归纳出了A与B两种报价单的设计假说。其中A版本是一份详细的报价单里面涉及了详细的配置与规格设计上给人一种专业感没有过多的点缀。B版本是一份看起来比较平易近人的报价单需要填写的资料相对较少。这两种设计分别表示了两种假设第一种假设是一份详细的报价单能凸显专业度使用户相信专业并愿意来填写报价单另一个则假设简单的填写表格能让用户更有意愿来填写。在变数上包含了填写的难易程度、美观性、提交按钮的显易程度等等。 经过假说与变量控制后最后落地的就是上图两个版本的表单产品经理分别在同一时间对不同用户投放并蒐集数据。经过持续观察语分析最后B表单胜出流量差距高达385%。证明了平易近人的表单设计更受用户喜爱。
真实案例DHL折扣广告 第二个案例是国际知名快递公司DHL的折扣广告。产品经理在设计广告时设立了两个假说女性的广告代言人更加吸引民众的目光以及男性的广告代言人更加吸引民众的目光。因此这里的变量就很明显角色的性别对流量的影响。经过投放测试后发现女性的广告代言人更加的吸引人转化率比男性代言人高了8个百分比说明对民众来说女性代言人更具亲和力且更愿意点击购买是不是很有趣
可以把B2C领域的经验直接套用到B2B领域吗
答案是不行的两个领域特性相差太大。如同前面所说的一个成功的AB Test大概会经历几个阶段。包含研究、建立假说、建立与执行实验、评估结果并验证假说等。 在实验过程中实验结果通常有两种可能第一是实验结果具有强有力的统计论证以证明假说的正确性二是实验结果不具有足以证明假说的证据在AB Test中这很常发生。如果你的实验具有强有力的证据支撑每一个假说并且实验的过程是很快的那么这样的AB Test将会非常有效率。在B2C场景中假说相对容易形成因为数据量大所蒐集的数据具备统计意义更方便产品经理形成假说也因此做AB Test相对来说更有效率。然而在B2B领域中就不是这么一回事了。因为B2B的客户面相的是公司在取样率上远远比不上C端用户这也导致B2B领域的统计特性薄弱假说也相对难以形成。 另一个不行的原因在于流量。在B2C领域中流量与收益常常是成正比关系越多的流量就能带来越多的收益因此在进行变量控制时流量总是会随机地分配到一个或数个变量当中。然而在B2B领域中流量不全然正比于收益访问B2B网站的用户中可能很大一部分是游客他们可能是透过广告或搜索进到网页当中进行调研。他们并不会花钱因为他们可能只是企业员工的一员没有决定采购的权力。这使得许多在B2C领域中已经耳熟能详的决策模型变得毫无用武之地。 AB Test在B2B领域中的挑战
B2B领域的产品经理们现在面临了三个AB Test的挑战
难以制定最佳的KPI指标需要大量的资源来进行AB Test需要很长的时间才能得到结果
1. 难以制定最佳的KPI指标
在B2B场景中我们所关注并且希望达到的结果往往是收入。理想上我们在做实验时应以收入为主要考量因子。在实际场景中许多的B2B产品经理会将目标细化成使用潜在客户的转化率如中长尾客户、渠道机会如客户合作等与市场影响收入如产品市场占有额等评估目标在SaaS中可能会以LTV生命周期总价值作为主要的衡量指标。 如果你没办法测量这些指标那就意味著你没办法最佳化它。现在市面上大多数的AB Test工具都是针B2C场景这意味著你没办法直接套用这些工具因为他们所使用的量测指标没办法满足B2B的场景。
2. 需要大量的资源来进行AB Test
假设我们要做一场最节省成本的AB Test实验那我们至少需要UED相关的设计师、前端开发工程师与数据分析工程师投入到这场实验当中。投入的时间也不是短暂的一两个礼拜因为一场成功的实验必须长时间的观察以获取有效的样本数及避免落入「錯誤测试」当中。在B2C领域中测试的时间相对较短因为样本数可以很容易地被满足同时取样本身基本符合常态分布。但在B2B领域中测试的时间相对会被拉长除了样本数的原因外另一个重要因素是取样偏差因为在B2B领域中可能大多数的流量皆是访客只有少部分人能成为真正带来收益的用户。因此同样的人力资源在B2B的实验场中需要停留的时间就更久需要分析的数据也更加复杂且可能无意义。
3. 需要很长的时间才能得到结果
如同2中所述在B2B领域中因为样本数不足与样本偏差问题会导致整体实验时间被拉长。然而耗费的时间可能还不止于此。一般来说AB Test是一个周期性并且迭代的一个过程因为我们需要根据实验的结果来修正假说或重新定义变数这会使得本来花费时间就长的实验变本加厉。也因此要获得结果的时间会比B2C领域长的更多。 那B2B领域还需要做AB Test吗 看了上面那么多的挑战我们还需要在B2B领域中做AB Test吗我的答案是肯定的。因为AB Test所能带来的收益也是巨大的。我认为的优点
1. AB Test可以帮助B2B产品更好的获得业务反馈 B2B产品虽然在用户体系上与B2C产品截然不同客户不一定是用户然而我们依然可以透过服务好用户来影响客户的方式来间接的增加收益。因此怎么从AB Test当中获取用户的反馈来改进产品是很重要的。 2. AB Test可以帮助B2B产品增加流量 流量虽然在B2B产品中不是主要的衡量指标因为与收益不一定成正比然而它的边际效益却能间接的达成收益的目的。例如上面所提到的市场影响收入、渠道机会等等。因此透过AB Test我们可以更好地改善产品来提升流量以达成收益的目的。 3. AB Test可以帮助B2B产品更好的探索市场 有时候我们会有许多的新需求与新想法但我们却不知道市场能不能接受它这时候就能发挥AB Test真正的价值。 4. AB Test可以帮助B2B产品更好地增进用户体验 如上所述用户与客户虽然在B2B场景中不是同一个人但是有时候我们可以透过服务好用户来进阶的影响客户决策。例如在Dataworks产品中良好的一个编辑体验与产品流程可以增加用户的工作效率并间接的影响客户对Dataworks产品的评价。 5. AB Test可以帮助B2B产品渐进的来迭代产品 透过AB Test我们可以了解用户对新功能或新版本的反馈进而增进产品进行优化与迭代。 虽然在B2B领域中AB Test的成本相对来说高很多但它的优势却是无法取代的
怎么用正确的方式在B2B领域中做AB Test
这里总结了几个在B2B领域中做AB Test的一些技巧。
1. 应该将重点放在大的变化上而不是小的细节中
为什么将重点放在大的变化上一般来说AB Test是一种统计学的实验方式并且像其他的统计实验一样它的可信度取决于样本数的多寡。什么叫做足够的样本数取决于以下三个因素
基础转化率欲达到的转化率提升情况信赖区间
一般情况下我们在做AB Test时会以95%来做为信赖区间这也意味著有5%的情况会发生例外的情况。这也表示当我们有足够多的样本数时例外发生的可能性也越低。 根据一份报告指出若我们希望在2%的基础转化率下再增加10%那我们至少需要39488份样本数才能达到95%的信赖区间; 同样地若我们希望在2%的基础转化率上再增加50%则只需要1871个样本数就能达到95%信赖区间。这之间差了21倍的样本数。因此越大的转化率提升可以减少所需要的样本数。
因为这些原因B2B产品应该考虑在一些大的改变上进行AB Test而不是一些小的改动例如按钮的颜色变化、或是增加一段注释文字等。 例如上图根据AB 测试版本B的转化率提升了整整1.07倍像这样的测试基本上不需要太多的样本数就能够达到统计学上的意义。
2. 从个性化开始
「大的变化」的其中关键一点是从买家个性化订制开始。 多数的B2B网站应该为不同的买方提供一些个性化订制的维度。一般AB Test的变数考量可以从端客户、领域别或是商业模式来著手。 举个例子在某一个专业软件网站中便用了个性化试验。试验中他们使用考量了三个主要的领域客户医疗、教育与金融。在分桶上有50%的用户分配到了个性化页面另外50%的用户则维持原来标准的页面。最后实验发现
透过个性化推荐的方式使业务增长了7%个性化推荐的首页增加了30%的点击率个性化推荐的页面增加了10%的PV周期同比增加了4%的业绩
个性化订制的收益不言而喻。 3. 用正确的工具做正确的事
在选择工具时我们应该正视到一点我们做的是B2B业务而非B2C业务。若依然按照B2C的方式来做测试 只会徒劳无功。 现今市面上许多的AB Test产品多半面向的是B2C的场景。虽然测试的方法与理论并无差别但在实验变量与衡量实验结果的方法上却天差地别造成这个情况的主要原因有
实验样本数的差异实验周期长短的差异实验结果解读的差异
在B2B当中因为天生的样本数劣势导致我们做起事来碍手碍脚的。为了弥补短版我们应该选择一个合适的工具这个工具能够提供我们合适的算法来解读实验结果例如一些不需要大量样本数的统计学方法。另外能够为B2B场景提供更多的实验变数。
结语
AB Test在B2B场景中虽然充满挑战但我认为仍有做的必要因为它带来的效益是没有其他方法能够取代的。为了更舒适的在B2B场景中进行AB Test我们应该将重点放在大的变化上使测试结果更具意义且节省成本开销此外我们应该从个性化开始为不同的客户「定制化」他的网页。最后我们应该选用正确的工具来进行AB Test。 原文链接 本文为阿里云原创内容未经允许不得转载。
