IT思维

摘要：本文来自铅笔道报道，作者薛婷。

国内大部分的公司产品的更新升级，一般先从线上进行发布，遇到问题再修改，重新上线，但是如果遇到一个让用户体验很不好的bug也会可能损失一些客户。

但是还有有一个上线方法，可避免事故发生，它就是A/B测试。当一款APP上线了一个新的功能，通过A/B测试，可以控制把新功能只展示给1%、5%的用户。即便出现BUG，影响也是小范围。

国内能够使用A/B测试的很少，甚至不到十家企业。去年，王晔之所以离开Google回国，就想要改变这样的局面，把谷歌最为先进的A/B测试的相关服务技术引进中国。

14年9月，王晔获得李丰和蒋涛100万美金天使投资，创办了吆喝科技。用了半年的时间带领团队搭建了一套通用A/B测试系统，为各个行业的企业提供A/B测试云服务。

今年4月底，王晔的AppAdhoc优化平台测试版低调上线。

注：王晔确定了本文数据的准确性，铅笔道愿与他一起为内容真实性作背书。
10几年科研经历

生于83年的王晔个头不高，有些婴儿肥的脸上始终挂着微笑。忠厚的模样让人很难与他极客范儿的工作勾起联系。

王晔与计算机的渊源要追溯到小学。学会编程的他拿了当年安徽省小学生计算机比赛一等奖，奖品是一台386电脑；初中时就写过一个GO语言的解释器，偶尔会被身边人冠以“神童”称号。

14年前，王晔刚进入清华。课余时间，他都在做“黑客”，喜欢钻研操作系统和硬件。曾和师兄陈茂科做了中国最早的IPV6实验床，还动手做扫地机器人、服务残疾人的声控机器人等。那个年代，IPV6、智能机器人实现商业化并非易事，却让王晔爱上了科研，看上去有些枯燥，他一头扎进去就是10几年，自得其乐。

在微软的两个月实习，改变了他的轨迹。“在微软实习了两个月。觉得商业里的很多技术是成熟的，再去做这个不好玩，也不需要我去做，我应该去研究那些未来的东西。”王晔说走上科研路是一场“错误”的幻觉。清华研究生毕业后，王赴美在耶鲁大学读PHD，主攻网络系统研究。

耶鲁的5年学习，让他有幸进入谷歌。王晔凭借发表的一系列论文及在微软研究院申请的网络通话修复系统（确认专利名字）国际专利，进入Google总部AdWords部门工作。AdWords是Google的创新营收部门，王晔享受到了自由与研究的快乐。

Google是技术为主导的企业文化。比如怎么把社交里的信息加到广告里，怎么把图片加到广告里，怎么把第三方认证加到广告里来提升广告效果和用户体验，都是工程师为主导来实施的。”

在Google两年，王晔开始接触A/B测试系统。“我参与的项目，大概每年为Google带来4亿多美元的营收增长。”这要归功于王所在部门的工作利器——Google的A/B测试系统。

□ A/B测试图解

Google的A/B测试系统主要用于广告和搜索部门。从04年开始研发，07年成型，后期系统改进，他都曾贡献过代码。“Google广告产品的每一个新改动都是要经过严格的在线A/B测试来验证效果，在保护用户的搜索体验的同时提高广告的转化营收。”

王的同事，原来不少都是和他一样闷头搞研究的，在Google深入业务后，慢慢地，不断有人离职去创业，或去做自己喜欢的事儿。

去年，借着各种名义，王晔回国了好几次。“走访了好多耶鲁回国的师兄，发现他们创业都做得很好。”王晔被触动到了。“你回国创业绝对是最正确的决定。”LeanCloud创始人江宏的一句话在他脑海回荡。

王晔感觉，这一次他要从科研绕回商业了。
国内A/B测试的机会

去年5月，他又与FreeS基金李丰会面。“李丰就说大家都是聪明人对吧？所以你会知道怎么选择。”内心蠢蠢欲动的王晔坐实了回国的念头。“Google在移动端已经落后了，我要抢占移动产品优化这个方向。国内还没人做专业的第三方A/B测试平台，蓝海一片。”

9月，王晔获得100万美金天使投资，来自李丰和蒋涛（极客邦创始人）。“前前后后，李丰也找我聊了一年了。”王晔笑称。

次月，王成立吆喝科技，四位核心合伙人到位。“有两个是从美国跟我回来，两个是国内找的，都有丰富的to B项目经验。”

A/B测试在国内应用不多。 “国内独立使用A/B测试的公司可能不超过10家，像知乎、大众点评等。很多大型互联网公司还没有做到所有产品都能使用高密度高频率的A/B测试，例如腾讯地图、百度糯米。”

更多的产品处于裸奔状态。“国内很多产品的更新换代往往没有保护措施，没有做实验。往往是先线上发布，遇到了问题程序员再加班加点修改，然后再过一次苹果审核再上线。这种很容易造成‘线上事故’。”

曾有一个案例。王晔曾听说13年时，一家做电商的App，当时做产品升级，但是没想到对某一部分安卓手机注册的地方有BUG。当天花了10万块钱打广告，只留下几千用户，40%的用户因为这个BUG流失了，损失4万块钱。

APM监控在国内有一定的使用量，王晔认为，相比之下A/B测试更具科学性。“APM的核心是后端数据累积和分析，而A/B测试的意义在于它改变了人们对产品迭代和优化的思维方式。

例如Google请自己的员工测试某项功能，得到的结论很显然不能代表普遍用户。因为采样用户很可能本身就具有倾向性。所以A/B测试的价值在于如何把在线用户的流量很好地分割，让他们用这些流量进行有目的性的测试，并通过科学的方法进行分析实验结果。”
开发一套通用系统

借鉴Google的A/B测试系统，王晔独立开发出一套新的通用系统。“Google的只能用在搜索和广告，通用系统使用于所有的移动产品。”Google的A/B测试系统是用C++写的，王晔用新语言从底层框架搭起。

到年底，王自己用2个月时间搭好了系统骨架。“花了小半年时间，5、6位工程师才把产品丰富起来。”

期间，最难解决的问题是系统稳定性。“要实现对各种应用正确的分流，正确的数据统计，比只是单纯做统计，或者单纯做推送类工具要复杂很多。比如说分流的部分升级了，升级之后和后端的匹配可能有问题，就是说两边都要升级。”王晔坦言为了使系统更加可靠，他们有自己的长线测试，上线部署有自动测试、人工测试等。

4月底，AppAdhoc优化平台测试版低调上线。王晔采取用户邀请式参与。“首先审核资质，然后给用户发送邀请码，用此码可以注册平台，即可使用A/B测试云服务了，更准确的我们提供了一套saas服务软件。”

A/B测试对用户技术水平要求较高，很多初创公司的水平达不到。目前，被邀请体验A/B测试的公司已有近百家，包括技德科技（Remix平板生产商）、小红书、野糖网、爱投资等。

用户体验A/B测试的流程如下：“注册完成，在网站下载SDK，集成到他的代码里，比如说他是做操作系统，可直接集成到ROM里。集成完毕，就可在AppAdhoc优化平台在线地去控制流量切割。”

用户使用过程中，王晔受困于国内的网络环境以及应用市场的碎片化。不同应用在不同市场上会产生不同的版本，版本控制较为麻烦。王晔构建了一套自己独特的API，开发者不需要提供统一的版本，API通过模块开关的方式来帮助开发者管理不同的版本。

传统的做法已经不可行。一些应用为检验更新的版本有没有BUG，会选一个较小的安卓市场实验，反馈没问题再决定上其市场。但安卓市场之间也会做同步，因此价值已不是很大。

而王晔在产品中设置了许多“开关”，能让开发者控制产品里的某个功能。“可以控制只有一小部分用户能看到这个新版本，如果有问题，可马上关闭该实验，直接在线操作，不需要通过应用商店审核。”
教育市场

凭借自己圈子的传播，加上A/B测试本身的刚需（百度搜索A/B测试，几乎全是吆喝科技贡献的内容），AppAdhoc吸引了不少人注册。

让他头疼的是小一半用户不会用。“蓝海最困难的是如何打开市场、教育用户。”为此他们即将推出易用版，实现所见即所得功能。比如可以直接看到App改版后长什么样；可以直接拖拽、修改，设置放多少流量进行实验，或者发布某一个特定的版本，都可以动态实时地看到数据报表。“让技术成熟的用户可以直接使用，技术稍差的经过教育就能上手。”

王晔的重头戏是其将推出的商务版测试平台，提供的是一整套功能，不光是APP层面，还包括后端的数据参数，都可以用A/B测试来测。

“比如说，可以让50%的流量看到0.5的参数效果，令50%看到1.0的参数效果，对比一下哪个参数值更好，后端的参数、代码、逻辑等都可以进行A/B测试。”

王晔表示，商务版是专门给高端用户服务的。“目前已有十几个用户使用后，营收得到提升。电商类客户能提升10%或者以上的营收。”

为教育市场，王晔推出了广告代理优化服务。“用户的广告投放，我们全权代理。用户点了广告，落到一个页面，这个页面如果设计不好，不用A/B测试去优化的话，用户流失率很高。”王晔已服务滴滴出行，达到司机注册率提高3倍的效果。此外，服务对象还包括五粮液、民生银行、斗山机械等。

广告代理优化服务已为王晔带来了收入。但在王眼中，这块业务只是在趟一条路，相当于把用户直观的需求转换成了自己用A/B测试来优化的服务。

□ 吆喝科技团队合影

目前，吆喝科技团队已近20人，70%为技术人员。“在国内，我们做的是从0到1的事，会保持自己技术驱动型的团队基因。”王晔脸上挂着笑容，“毕竟创始人爱做这个。”

来！已融资的项目求报道，请加微信号shoujiyezi5415；
文章原创，如需转载，请加微信号meera003；

版权声明

转载请注明出处及文章作者。