一个资深旅游行业项目经理的无奈：那些年做过的伪A/B测试

一说起A/B测试，相信很多产品经理都对这个名称不陌生，他们会拿出一副看外星人的眼光，心里默默的说：“太out了吧，这个概念又不是什么新概念。”诸位别急，就像那本经典的书名说的：你以为你以为的就是你以为的吗？

转载｜吆喝科技

一位资深旅游行业项目经理讲诉了他的无奈：

我最早入行的时候，在一家外包做网站的公司，我作为项目经理，公司分配我服务一家大型的国有旅游集团，这家公司成立早，在业内非常有名，主要做的是入境游业务，当时国内的线上旅游产品不像现在这么百花齐放，这家公司占据了入境游60%以上的业务。坦白讲，我接到这样的项目内心是无比激动的，做了无数的竞品分析，推翻N多次的产品原型，而这家企业也不像传统的央企，可能是因为涉外较多，他们的思路很开放，很多专业的意见他们也会接受，双方配合的很默契。

做过网站的人都知道，项目中第一个重要的里程碑就是首页设计稿，首页设计稿决定了全站的设计风格和调性，又是一家网站的“门面”，因此该企业对首页设计稿的设计是万众期待，不仅仅是领导，还有所有员工，都对这次网站首页十分的期待，这种情绪感染了我，我带着设计团队不眠不休的干了一周，出了三版设计方案，摆到了领导的桌前。

领导看到我们的成果，首先表扬了我们的工作态度，此处省略一万字，然后在拍板做决定的时候，领导真的是为难了，并不是他不知道选哪个，而是他不敢选，因为他很清楚公司上下对设计稿的期待，更清楚外界对本次网站改版的关注，毕竟该企业在中国入境游领域的话语权分量很重。

领导看了我一眼，说，要不，让下面的人一起看看？我当时头就大了，下面那么多人一起看，一人提一句意见，一人提一个想法，做过乙方的都知道，我们的设计基本上就会重新推翻，我们一周的努力基本上就付水东流了啊！为了不让兄弟们的辛苦白费，我建议领导让所有人在三版设计风格中进行投票，决定设计风格走向，票数多的那个就作为最终的设计风格，并且冠上了一个“A/B测试”的名头，让领导觉得这件事的科学性和严谨性。

三版设计，A版本在整个设计中演绎了该企业的LOGO，最大的特点是更国企，如果各位不明白，请参照中石油官网；B版本我们用了大量的风景图片，最大的特点突出其“入境游”的旅游特性；C版本是我们推荐的版本，使用了颜色绚丽的设计风格，并且手绘了一个熊猫的卡通图形，整个网站的风格更加偏向国外旅游网站，因为毕竟这个网站的受众是外国人。我们一致认定，C版本必胜！但是，投票当天的结果大出意料，最后A版本选票最多，因为这家企业的员工都认为，既然是做自己企业的网站，那就必须围绕自己的企业做文章。

这件事回过头来看，其实发现当时做的A/B测试实在是称不上科学的实验，因为犯了以下几个错误：

1. 采样不准确。在A/B测试中，采样是一件很重要的事情，如果采样不准确，那整个实验就算是有结果，其结果也是不准确的。什么是采样的准确？就拿上文中的例子，我们的采样就是该企业的员工，这些员工首先不是网站的受众，其次他们看问题的角度会有局限，我们想当然就把员工的想法等同于用户的想法，而这个网站的用户都是黄头发蓝眼睛的外国人，想法差距就更大了。

2. 样本数量太少。该企业的入境游业务占了中国入境游的半壁江山，而他们的员工只有200多人，200多人的样本不能完全代表全流量的用户，就像我们不能说抛十次硬币如果8次正面，2次反面，我们就说抛硬币的概率就是80%的正面，这很可笑。

3. 实验变量太多。科学的A/B测试为了保证实验的准确性，在变量设置上不会很多，很多时候就是改动一个按钮的颜色，或者是一句文案的改变，就是为了尽量减少变量对数据结果的影响，如果变量太多，那就算有实验结果，作为实验设计者也并不清楚，到底是哪个变量导致的数据变化。

4. 实验结果分析。做A/B测试不是全民投票，票数决定一切。A/B测试的结果要经过统计学的分析，结合正态分布和随机变量等计算得出的结果才是可信的。

从以上内容我们可以看到，一次成功的A/B测试并不是那么容易的，那么，A/B 测试如何才能成功地应用在航旅行业呢？（可参考《Booking.com 是如何通过实施A/B测试来提升用户体验的？》）

8月10日，周四下午，旅讯开放日将在北京举办，国双科技解决方案事业部总经理卢元、吆喝科技副总裁柏利锋等嘉宾将分享如何提升旅游业用户体验的数据方法及案例。

届时，柏利锋将结合航旅业的案例与大家分享，在线旅游企业如何利用创新试验把客户留下。

那些明星公司的魔法：

当然，还有A/B测试的结构化思维——LIFT模型，如何运用在实操之中等精彩内容。届时，来旅讯开放日现场聆听。可 点击此处 ，前往旅讯开放日官网，了解更多详情。