大公司如何用A/B测试解决增长问题？

lsekfe

摘要：上线六年，字节跳动的短视频产品——抖音已成为许多人记录美好生活的平台。除了抖音，字节跳动旗下还同时运营着数十款产品，从资讯、游戏，到房产、教育等横跨多个领域。在产品迭代速度和创新能力的快速发展下，字节是如何解决产出的每款APP的增长问题？本文将分享专属于字节文化的增长方式。
　　一、关于增长
　　1.1什么是增长
　　下图是一个简单的增长闭环。

　　首先在最开始会利用很多类似UBA的工具进行用户行为分析，通过这些分析发现，在这个APP发展过程中是不是存在一些新的问题，或者去探索一些新的业务增长点。之后就进入了第二步，数据分析师会把他的推断传递给产品经理，产品经理会提出了一些假设策略，设定一定的目标。
　　第三步进入到了很关键的一个环节：整个字节内部，不管是功能研发还是算法模型的迭代，或者是UI交互上一个简单的按钮颜色的变化都需要去做的验证——就是A/B实验。在这个过程中，采用各种科学的实验分析工具或者分析模型，来帮助数据分析师了解不同的实验策略，在整个推进过程中当中会有什么样的表现。
　　最后一步，再结合实际场景去进行分析：这个实验结论最终带来了哪些洞见？是否要持续迭代？如此往复，就是一个激发创新和增长的闭环。
　　1.2 字节的增长逻辑：选定一个好的目标，然后找到一个好的评估方法衡量
　　解决问题一定要有好的方法，“数据驱动”是字节非常看重的一系列方法，而“A/B测试”是“数据驱动”中至关重要的方法。
　　要想解决问题，第一个问题是：目标是什么？确认目标，以及这个目标是否可量化是特别重要的。需要注意的是避免选择类似用户画像这一类目标优先级不一定高且不好评估的目标。既要考虑用户体验，也要考虑一些客观指标，同时可能辅以一些用户访谈的直观印象，最后综合去制定方向。
　　数据驱动不是唯数据论，更不是数据至上。我们常说的数据驱动，不是有数据就可以驱动，而是需要对可以量化评估的目标，以A/B测试这样的结果数据才能更好地驱动，它代表的是科学决策的理念，不然数据驱动的决策也可能是很糟糕的决策。
　　2.应该去选择一个什么样的目标
　　2.1 目标层次合理性
　　选择目标时应该选一个不要太高、不要太低的目标，并且定期衡量特别重要。例如在聊数据驱动思路时，当试图用数据驱动思路去细化目标时，有利于你仔细反思：我的目标是不是这个？我的目标能不能量化？它会逼你把目标想得很清楚。
　　2.2目标可衡量
　　在选择目标时，目标的可衡量是非常重要的。它跟数据驱动的理念互相帮助，定好目标，才能更好的应用数据驱动，当你用数据驱动的方法去做事情时，它就会push你的目标到底是不是合理。
　　3.什么是好的评估方法
　　一是经验判断。 不管什么公司，每天都在不停的用这个方法，这个方法非常靠谱的，但是有它的问题。从公司层面来看，由于单纯依靠客观指标决策会面临风险，因此战略决策往往是由人来做判断的。但它的问题在于执行层面很容易不一致。战略决策在执行过程中面临很多细节问题的决策，参与的人越多，越容易出现不一致性和有偏性。
　　二是非A/B测试的数据分析，但是可能会出现关联分析中往往带有偏见，可能会误导决策。
　　三是A/B测试的数据分析。这是一个更接近真实、更能够把握住本质的一个方法。类似于打造一个“平行时空”，把不同策略放进去对比实验，再基于“投石问路”的结果选择更优方案，降低决策风险。
　　4.A/B测试——DataTester 在字节
　　字节跳动有一款中视频产品叫西瓜视频，最早它叫做头条视频。为了提升产品的品牌辨识度，团队想给它起个更好的名字。经过一些内部调研和头脑风暴，征集到了西瓜视频、奇妙视频、筷子视频、阳光视频 4 个名字，于是团队就针对一共 5 个 APP 名称进行了 A/B 实验。
　　这个实验中唯一改变的是应用市场里该产品的名称和对应的 logo，实验目的是为了验证哪一个应用名称能更好地提升“头条视频” APP 在应用商店的点击率。最后西瓜视频和奇妙视频的点击率位列前二，但差距不显著，结合用户调性等因素的综合考量后，最终决定头条视频正式更名为西瓜视频。
　　除了西瓜视频，今日头条的定名，就是在不同的应用市场上架不同的名称，来看下载率和分享率，最后“今日头条”胜出了。抖音也是一样的，这个名称并不是第一首选，是做了很多个名称上架应用市场之后，“抖音”排名第二，最后根据产品形态以及认知，才选择了“抖音”作为核心名字。
　　在不断的创新迭代的过程当中，字节跳动一直都在高度的关注着整个产品传递信息的一个密度，持续的探索和更新更高效的信息分发方式。其中最核心的一个理念就是通过数据去驱动创新、驱动增长，然后驱动营销。而 AB 测试就是这一理念的方法论和工具的载体。
　　经过了字节内部业务的多年打磨，这一套在字节大放异彩的A/B实验工具已正式通过火山引擎对外服务，取名为 DataTester。它基于先进的底层算法，提供科学分流能力，提供智能的统计引擎，实验结果可靠有效，助力业务决策。
　　目前，DataTester 在字节内每日新增1500+实验，累计已有150W+ 的 A/B 实验进行过。在外部客户的服务上，也已覆盖推荐、广告、搜索、UI、产品功能等业务场景，提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事APP等企业客户，已经通过火山引擎DataTeser开启了用数据驱动科学决策的道路。