游戏A/B测试巨变:15+新指标,同时跑100个!
在游戏的世界里,发布仅仅是开始。为了持续吸引玩家,并引入新的血液,游戏需要像一个鲜活的生命体一样运营。这意味着需要不断推出新的功能、更新、促销活动以及游戏内活动,以此来保持并最大化玩家的参与度和游戏的盈利能力。
数据驱动的实验就显得尤为重要。A/B测试确保每一次改动都能产生可衡量的影响,而不是依赖于猜测和盲目的乐观。为了更好地支持游戏的持续运营策略,相关团队与Supercent公司合作,对A/B测试功能进行了改进,为用户在测试创建过程中提供了更大的灵活性,并能够更深入地了解测试结果。
那么,具体都发生了哪些变化呢?
A/B测试的创建方面:
- 现在可以自动包含新的版本。
- 可以设置样本的大小。
- 可以定义注册率。
- 拥有灵活的变体和变体分布。
- 可以将结束日期设置为完成的标准。
- 能够同时运行多达100个测试。
结果分析方面:
- 改进了结果表格。
- 增加了超过15个新的指标。
- 能够更深入地探索和使用漏斗分析。
- 可以进行时间序列和统计分析。
- 支持邮件通知。
接下来,让我们逐一了解这些改进的具体内容。
A/B测试创建的优化
自动包含新的构建版本
现在,A/B测试可以包含尚未被追踪的构建版本。一旦选中,来自选定构建版本及以后的玩家都将被纳入测试范围。这意味着,无需等待新版本完全整合,即可开始测试,大大提升了测试效率。
设置样本大小
现在,开发者可以更好地控制参与A/B测试的用户数量。系统还会给出建议,帮助开发者纳入足够多的用户,以确保获得具有统计意义的结果。这有助于确保测试结果的可靠性,避免因样本量不足而导致的误判。
定义注册率
通过设置用户参与测试的概率,例如,10%的注册率意味着每个玩家有10%的机会被纳入测试。这为开发者提供了更精细的控制,可以根据需要调整测试参与者的比例。
灵活的变体和变体分布
现在可以同时添加最多10个变体来测试假设,并且可以自定义变体的大小。例如,可以将50%的玩家分配到一个变体,然后根据需要分配剩余的玩家。这种灵活性使开发者能够更有效地测试不同的方案,找到最佳的解决方案。
设置结束日期作为完成标准
现在可以运行A/B测试几天、一周甚至更长时间。无论选择哪个日期,结果都将准备就绪。这使得开发者能够根据测试的需要灵活地调整测试时间,从而获得更准确的结果。
同时运行多达100个测试
如果有很多假设需要验证,现在可以同时运行多达100个A/B测试。这大大提高了测试效率,使开发者能够更快地找到最佳的解决方案。
A/B测试结果分析的增强
改进的结果表格
改进后的结果表格使得理解A/B测试结果更加容易。此外,开发者还可以创建自定义的结果视图,以便直接比较最重要的指标。这有助于开发者更快地识别出表现最佳的变体,并做出明智的决策。
15+个新的指标
现在可以通过分析更多的指标来全面了解A/B测试:
- 留存率(第1天/第2天/第3天/第4天/第5天/第6天/第7天/第14天/第28天):在首次会话后的特定日期返回应用的用户百分比。
- 每用户游戏时长(第0天/第1天/第2天/第3天/第4天/第5天):安装后特定日期每用户花费的游戏时长。
- DAU的ILRD计数(插页式,第0天):第0天(首次使用)每日活跃用户的插页式广告展示次数。
- DAU的ILRD计数(激励性,第0天):第0天每日活跃用户的激励性广告展示次数。
- 每用户显示的广告(激励性,第0天/第3天/第7天):在特定日期观看的激励性视频广告的平均次数。
- 每用户显示的广告(插页式,第0天/第3天/第7天):在特定日期观看的插页式广告的平均次数。
- 显示的广告总数(插页式和激励性,第0天/第3天/第7天):每个用户在特定日期观看的插页式和激励性视频广告的总数。
- ARPDAU(ILRD):每个每日活跃用户从应用内广告产生的平均收入。
- ARPDAU(IAP)和(IAP,有效):每个每日活跃用户从应用内购买产生的平均收入。
- ARPAU(ILRD):每个活跃用户从应用内广告产生的平均收入。
- ARPAU(IAP)和(IAP,有效):每个活跃用户从应用内购买产生的平均收入。
- PUR(第0天/第7天):在特定日期之前进行购买的用户百分比(付费用户率)。
- 累计收入(IAP,第0天/第3天/第7天):安装后前X天产生的每次安装的总应用内购买收入。
- 累计收入(ILRD,第0天/第3天/第7天):安装后前X天产生的每次安装的总展示收入。
- 累计收入(总计,第0天/第3天/第7天):安装后前X天产生的每次安装的总应用内购买和展示收入。
这些新增的指标提供了更全面的视角,帮助开发者深入了解用户行为和收入来源。
在“探索与漏斗”中深入挖掘
现在可以在“探索”中按A/B测试或A/B测试变体分组或拆分数据,从而在A/B测试结果页面之外提供更大的灵活性和更深入的分析能力。
还可以在“探索”和“漏斗”中按A/B测试进行过滤。
小贴士:完成A/B测试后,将鼠标悬停在指标上,然后单击“在探索中查看”图标。这将打开“探索”,其中已选择目标指标,并应用了A/B测试和变体过滤器以及相应的开始和结束日期。
时间序列和统计分析
使用时间序列来分析结果页面上可用的任何指标。这使开发者能够了解指标随时间的变化趋势,从而更好地评估测试结果。
新媒网跨境了解到,还可以使用统计分析来识别获胜的变体。注意:这仅适用于选择目标指标作为完成标准(而不是结束日期)。
邮件通知
现在可以在A/B测试完成后在收件箱中收到更新。这让开发者能够及时了解测试结果,并采取相应的行动。
未来展望
这还不是全部。相关团队正致力于启用针对所有用户和/或回访用户的定位、更新远程配置等功能。
新媒网跨境认为,通过不断改进A/B测试功能,将为游戏开发者提供更强大的工具,帮助他们优化游戏体验,提高用户参与度和盈利能力。
新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。


评论(0)