5.6 移动应用调试工具(Android)

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 287 次浏览 • 2016-11-12 11:47 • 来自相关话题

5.5 REST API

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 247 次浏览 • 2016-11-12 11:45 • 来自相关话题

5.4 其他 SDK 集成文档

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 331 次浏览 • 2016-11-12 11:45 • 来自相关话题

5.3 Android SDK 集成文档

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 292 次浏览 • 2016-11-12 11:44 • 来自相关话题

5.2 iOS SDK 集成文档

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 270 次浏览 • 2016-11-12 11:41 • 来自相关话题

5.1 Web SDK 集成文档

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 277 次浏览 • 2016-11-12 11:37 • 来自相关话题

4.2 创建试验

回复

鲁宇星 发起了问题 • 1 人关注 • 0 个回复 • 254 次浏览 • 2016-11-12 11:32 • 来自相关话题

4.1 创建应用

鲁宇星 发表了文章 • 0 个评论 • 180 次浏览 • 2016-11-12 11:31 • 来自相关话题

“应用”通常用于管理一个APP或网站之上的试验,当然对于比较大的APP/网站或者比较复杂的试验情况,也可以分为多个应用来组织和管理。对于独立的H5推广活动页面,您也可以选择在同一个应用中进行管理。每个应用对应一个AppKey,用于集成SDK。

进入Testin A/B 测试为您的应用创建一个项目。填写名称,选择对应的系统类型。

在开始A/B测试之前,需要在您的应用中集成SDK。参考SDK集成文档。在此应用中,您可以反复多次进行A/B测试。 查看全部
“应用”通常用于管理一个APP或网站之上的试验,当然对于比较大的APP/网站或者比较复杂的试验情况,也可以分为多个应用来组织和管理。对于独立的H5推广活动页面,您也可以选择在同一个应用中进行管理。每个应用对应一个AppKey,用于集成SDK。

进入Testin A/B 测试为您的应用创建一个项目。填写名称,选择对应的系统类型。

在开始A/B测试之前,需要在您的应用中集成SDK。参考SDK集成文档。在此应用中,您可以反复多次进行A/B测试。

A/B测试常见问题

鲁宇星 发表了文章 • 0 个评论 • 110 次浏览 • 2016-11-12 11:21 • 来自相关话题

前期入门
1. 什么样的产品无法使用Testin A/B Testing?

Testin A/B Testing支持通过前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Python、Java等)的多环境SDK集成安装来进行在线A/B测试,实现产品优化,对于没有相关产品的企业或者线下的测试暂时无法提供帮助。

此外,使用Testin A/B Testing需要集成SDK或API代码,因此依附于第三方平台无代码构建的产品,如通过第三方工具创建的H5页面等,也暂时无法使用。

2. 怎样的量级适合A/B 测试?

想要获得一个可信度较高的A/B 测试结果,日活最好能够保证大于1000,否则进行可信A/B 测试是比较困难的。

对于用户量较大的产品(月活上千万),Testin A/B Testing同样可以提供试验支持。但为保证试验的顺利进行,请在正式上线前与我们的工作人员联系沟通。

此外,在保证一定用户量级的情况下,试验时间也要运行充足,才能获得可信的A/B 测试结果。

3. 如果不会程序编码,是否能使用Testin A/B Testing?

Testin A/B Testing支持多种方式进行A/B 测试。其中,可视化编辑器只需将SDK集成到产品上,之后无需代码知识,就可以完成试验创建。所见即所得,轻松完成视觉上的产品变化。

4. 科学流量分割与随机流量分割的区别是什么?

如果试验流量分割是通过单纯的随机算法完成的,A和B两个版本的用户群体很可能就不具有代表性,无法进行对等的比较。如果试验结果显示B优于A有可能应用B版本到全体用户中之后,它的表现反而比A版本差。

Testin A/B Testing采用的科学试验流量分割,使得每一组试验对象具备一致的用户特征,对比结果是科学可信的。

5. 95%置信区间是什么意思?

置信区间描述了试验版本比对照版本提升的范围,95%指的是实际提升出现在这个范围内的概率。

查看置信区间,如果上下限同为正,说明试验版本比原始版本有了提升;如果同为负,说明试验版本不如原始版本。如果置信区间的上下限位一正一负,则说明试验版本和原始版本没有显著差别,或者试验数据还不足以判断结果,需要运行试验更长时间,收集更多数据。

以优化点击率为例,当试验版本在试验报告的数据中显示为“+55%[+50%,+60%]”。那么在95%置信区间下,版本上线后有95%的机率能够将真实点击率提升50%~60%,点击率提升低于50%的可能性小于5%,提升效果是真实的。

此外,需要注意版本试验时的用户流量大小,小流量的用户行为统计在流量放宽后关键指标数据可能会发生变化。建议用户在试验过程中,由小到大逐步增加流量分配,判断当前流量分配的数据结果是否具有普遍意义,最终选出最优版本。

6. 能否针对指定人群进行试验?

针对指定人群进行试验属于定向试验的功能范畴。Testin A/B Testing支持对以下用户属性设定标签:OS, OS 版本,浏览器,浏览器版本,设备类型,应用版本,SDK版本,屏幕尺寸等。当试验运行后,只有符合受众群体标签的用户才能进入试验。100%的流量为全部流量中所有符合分组标签的用户。

此外,您也可以通过代码自定义用户标签。请避免完全重复,或者过长的标签名称。标签之间平级不交叉,由用户自行定义。自定义的用户标签需要通过Testin SDK相关API设置和上传,请参考SDK集成文档。

定向试验属于高级功能,如果您处于试用期,可与Testin工作人员联系开通权限。




安全性能
1. 如何保证用户隐私的安全性?

Testin A/B Testing与您共同尊重用户的个人隐私。

首先,我们采用https协议加密数据传输,软件和硬件部分做了群集和负载均衡。我们收集的优化指标,包括命名、定义与数据格式等,都是完全由客户自定义的,并不会获取用户的个人信息。

同时,平台服务器收集的只有数据,没有单位和详细定义。

最后,Testin A/B Testing可以为客户产品提供私有云解决方案,数据完全不经过我们。

2. Testin A/B Testing的服务器如果崩溃停止服务,是否会影响到用户产品的正常运行?

Testin A/B Testing非常重视容灾容错能力,我们有专门的工作人员实时监控服务器的运行状况,以保证服务器的正常稳定运行,因此服务器发生意外的可能性非常小。若因不可抗力导致服务器发生意外停止,也不会对产品的运行和用户的使用体验造成影响。


SDK集成
1. SDK的性能如何,是否会造成页面滞后或者其他影响?

Testin A/B Testing服务器的反应速度控制在几十毫秒,用户很难通过肉眼感知到页面的延迟加载。

为了减少页面加载时间,提升用户体验,在正式上线之前,我们已经对上百款手机进行了云测试,以保证SDK集成对用户产品的影响尽可能小。此外,我们的SDK已经针对流量进行了进一步优化,尽量减少流量的消耗。

2. 有试验正在运行,却收到了Testin A/B Testing关于SDK更新的通知,是否会影响试验结果?

Testin A/B Testing会在SDK更新的第一时间内推送更新公告,若您有试验处于运行状态,无需特地停止试验更新SDK。

为保证您现有试验的正常运行,旧版SDK的维护周期约在2-3个月,期间参与试验的用户将不会受到影响,更不会影响到试验结果的正常收集。但在开始下一次试验前,请务必集成最新的SDK,避免因此造成的数据误差,下载链接请参见SDK集成文档。


运行试验
1. 怎么判断一个试验是否已经达到成熟的试验结果?

一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。

如果置信区间同为正或同为负,得到的结果是可信的。如果置信区间为一正一负,则可以通过适当延长运行时间,或者调大流量的方式来调整试验。若仍然没有改善,可能是不同版本的效果差异不大,需要重新设计方案,并调整变量。

2. 每个试验都需要开发新的变量么?

不必须,试验变量可以很灵活的应用。

用户可以在导航栏内的「SDK集成」查看所有变量和优化指标的列表,已创建的变量(指标)可以用于多个试验版本,比如将按钮颜色设置为String类型的变量,就可以测试不同颜色。

3. 如果同时进行多个试验,不同试验之间会不会发生冲突?

-未分层试验:试验间的流量互斥,所有试验共用100%的流量,不同试验之间不会发生冲突。这样做一方面可以让用户体验更好,另一方面可以排除参与两个试验的用户带来的数据干扰。举例来说,若同时上线2个试验,设置试验A的流量为40%,试验B的可用流量为100%-40%=60%。也就是说,参与试验A的用户看不到试验B,反之亦然。

-分层试验:用户需注意设定分层条件,否则有可能会发生不同试验之间的冲突。具体分层条件,请参考流量分配文档。

无论分层与否,为了保证试验结果的科学性,建议将所有版本(包括原始版本)的流量分配保持一致。

4. 新建试验之后,我需要在应用市场重新发布App才能进行试验吗?

在正式开始运行之前,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中。之后,您就随时可以开始和停止相关的试验。

如果是对已经在代码中集成好的变量和指标进行修改,则无需重新发布APP。如果需要对试验变量和优化指标进行项目增减,那么应及时将代码同步并重新上传到应用市场。

5. 参与试验的用户是否必须连接到互联网,否则他们的行为数据将无法统计?

用户的离线状态对于试验的影响很小。

第一次进入试验版本,以及返回数据报告时,需要确保用户的网络连接正常。由于系统需要在网络环境下将用户分到不同版本,因此若尚未加载配置参数,用户进入应用程序时会默认进入原始版本,其行为数据也不会被收集到试验数据当中。

如果应用程序处于离线状态,Testin A/B Testing将使用配置参数的缓存版本。对于已加载的用户而言,在离线状态中的指标数据将储存在设备当中,一旦设备连接互联网,其累积的数据报告就会反馈到Testin A/B Testing。

6. 是否可以修改正在运行中的试验?如何操作?

在确保您的产品已经包含了试验变量与优化指标等功能模块的代码后,您可以随时更改更改试验变量、优化指标和流量分配,更改后即时生效。

流量分配:我们建议从小到大逐步调整试验流量,通过观察试验数据结果,您可实时对试验流量进行调节。
试验变量、优化指标:我们强烈建议您慎重操作。因为修改后的数据将会与之前的试验数据混合,可能造成结果不准确,不能确定究竟是什么原因造成的数据变化。如果您坚持要修改正在运行中的试验,我们建议您将现有试验停止,重新开始一个试验,以保证试验数据不被干扰或污染。

7. 停止的试验是否能重新开始?

试验停止后,显示的指标数据是在完整的试验周期内收集的。而在试验停止的时间段内,市场环境、用户群体等都可能会发生变化,不能保证试验数据的无缝衔接。

因此,为了保证试验数据参考价值,Testin A/B Testing不支持将已停止的试验重新开启。若重新开启试验,将会造成试验数据的混杂污染,数据结果不准确。如果需要重新开始一个试验,建议通过克隆该试验来完成。

8. 将试验完全停止后,用户看到的是哪个版本?

当试验选出最佳版本后,Testin A/B Testing支持“一键发布”新版本给所有用户。用户会在无感知的情况下,使用全新版本,无需经过应用市场审核。如果想进一步保证用户的良好体验,可以在新版本发布的同时,通过自己的用户沟通渠道通知用户。

若未使用“一键发布”功能,停止试验后,所有流量自动回归到当前试验的原始版本,用户将重新看到原始版本。

9. 为什么试验后台的UV数据和我自己统计的UV数据不一样?

在Testin的试验概况页面中,您会看到UV统计项。这是我们对有效进入试验的访客进行统计的一项优化指标,这个UV的定义的和传统意义上的UV还是有一些区别的:

传统UV: 使用该产品的独立访客

试验UV: 当用户进入网页/开启APP并触发所有试验变量后,才会判定其为1个有效的试验UV。

因此,您在试验中看到的UV和您自己统计的UV一般来说都是不一样的。

举一个极端的例子,如果参与试验的用户开启了APP,但是没有到达设置变量的页面(或者只触达了一部分页面)就退出了,那么我们的后台不会判定其为有效的试验UV,直到其再次开启并触发所有变量之后,才会被统计进去。

10. 在我发布或者结束试验后,用户的行为还会产生API消耗吗?

这取决于您在下次发版时,是否将上次试验的旧代码清除,这也是我们在合理优化配置试验资源中强调代码清除重要性的原因之一。

在您点击试验发布或结束后,我们服务器会给用户设备发送相应指令来引导其展示相应版本。如果您在之后新版本的源代码中及时清除了之前试验时的旧代码(即试验中多余的变量以及优化指标等集成代码),那么在用户更新了这个版本之后,将不再产生API消耗。

如果某些客户没有执行更新到这个新版本,那么遗留的代码将通过用户设备与我们服务器进行日常交互(因为它依然需要向服务器确认是否要进入某个试验中),从而产生一些API消耗。


账户
1. Testin A/B Testing服务是否免费?

Testin A/B Testing对新注册的用户提供45天的免费试用期。

在试用期内,所有功能和流量全部免费开放。超过试用期限后,功能自动关闭,只有升级到收费版本后才可以正常使用。

2. 与工作人员联系后,却一直没有收到邀请码,怎么回事?

不同的邮件运营商对邮件内容的判断标准不一,若未能在收件箱中查看到Testin A/B Testing激活邮件,请前往垃圾箱中检查。如果依然没有收到激活邮件,请及时与客服人员联系。

3. 同一个账户下,是否支持多个应用程序的A/B 测试?

支持。

如果您拥有多个不同的应用程序,直接在登录页面中手动添加即可。

4. 为何登陆到后台之后无法进行定向试验功能的操作?

Testin A/B Testing为用户设置了45天的免费试用期。在试用期内,如果需要定向试验等功能,请与我们的工作人员联系。我们会根据您的具体需求,为您开通相应权限。

若您的账户已超过免费试用期限,建议您根据需求升级到收费版本,以获得更全面的Testin A/B Testing服务。
  查看全部
前期入门
1. 什么样的产品无法使用Testin A/B Testing?

Testin A/B Testing支持通过前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Python、Java等)的多环境SDK集成安装来进行在线A/B测试,实现产品优化,对于没有相关产品的企业或者线下的测试暂时无法提供帮助。

此外,使用Testin A/B Testing需要集成SDK或API代码,因此依附于第三方平台无代码构建的产品,如通过第三方工具创建的H5页面等,也暂时无法使用。

2. 怎样的量级适合A/B 测试?

想要获得一个可信度较高的A/B 测试结果,日活最好能够保证大于1000,否则进行可信A/B 测试是比较困难的。

对于用户量较大的产品(月活上千万),Testin A/B Testing同样可以提供试验支持。但为保证试验的顺利进行,请在正式上线前与我们的工作人员联系沟通。

此外,在保证一定用户量级的情况下,试验时间也要运行充足,才能获得可信的A/B 测试结果。

3. 如果不会程序编码,是否能使用Testin A/B Testing?

Testin A/B Testing支持多种方式进行A/B 测试。其中,可视化编辑器只需将SDK集成到产品上,之后无需代码知识,就可以完成试验创建。所见即所得,轻松完成视觉上的产品变化。

4. 科学流量分割与随机流量分割的区别是什么?

如果试验流量分割是通过单纯的随机算法完成的,A和B两个版本的用户群体很可能就不具有代表性,无法进行对等的比较。如果试验结果显示B优于A有可能应用B版本到全体用户中之后,它的表现反而比A版本差。

Testin A/B Testing采用的科学试验流量分割,使得每一组试验对象具备一致的用户特征,对比结果是科学可信的。

5. 95%置信区间是什么意思?

置信区间描述了试验版本比对照版本提升的范围,95%指的是实际提升出现在这个范围内的概率。

查看置信区间,如果上下限同为正,说明试验版本比原始版本有了提升;如果同为负,说明试验版本不如原始版本。如果置信区间的上下限位一正一负,则说明试验版本和原始版本没有显著差别,或者试验数据还不足以判断结果,需要运行试验更长时间,收集更多数据。

以优化点击率为例,当试验版本在试验报告的数据中显示为“+55%[+50%,+60%]”。那么在95%置信区间下,版本上线后有95%的机率能够将真实点击率提升50%~60%,点击率提升低于50%的可能性小于5%,提升效果是真实的。

此外,需要注意版本试验时的用户流量大小,小流量的用户行为统计在流量放宽后关键指标数据可能会发生变化。建议用户在试验过程中,由小到大逐步增加流量分配,判断当前流量分配的数据结果是否具有普遍意义,最终选出最优版本。

6. 能否针对指定人群进行试验?

针对指定人群进行试验属于定向试验的功能范畴。Testin A/B Testing支持对以下用户属性设定标签:OS, OS 版本,浏览器,浏览器版本,设备类型,应用版本,SDK版本,屏幕尺寸等。当试验运行后,只有符合受众群体标签的用户才能进入试验。100%的流量为全部流量中所有符合分组标签的用户。

此外,您也可以通过代码自定义用户标签。请避免完全重复,或者过长的标签名称。标签之间平级不交叉,由用户自行定义。自定义的用户标签需要通过Testin SDK相关API设置和上传,请参考SDK集成文档。

定向试验属于高级功能,如果您处于试用期,可与Testin工作人员联系开通权限。




安全性能
1. 如何保证用户隐私的安全性?

Testin A/B Testing与您共同尊重用户的个人隐私。

首先,我们采用https协议加密数据传输,软件和硬件部分做了群集和负载均衡。我们收集的优化指标,包括命名、定义与数据格式等,都是完全由客户自定义的,并不会获取用户的个人信息。

同时,平台服务器收集的只有数据,没有单位和详细定义。

最后,Testin A/B Testing可以为客户产品提供私有云解决方案,数据完全不经过我们。

2. Testin A/B Testing的服务器如果崩溃停止服务,是否会影响到用户产品的正常运行?

Testin A/B Testing非常重视容灾容错能力,我们有专门的工作人员实时监控服务器的运行状况,以保证服务器的正常稳定运行,因此服务器发生意外的可能性非常小。若因不可抗力导致服务器发生意外停止,也不会对产品的运行和用户的使用体验造成影响。


SDK集成
1. SDK的性能如何,是否会造成页面滞后或者其他影响?

Testin A/B Testing服务器的反应速度控制在几十毫秒,用户很难通过肉眼感知到页面的延迟加载。

为了减少页面加载时间,提升用户体验,在正式上线之前,我们已经对上百款手机进行了云测试,以保证SDK集成对用户产品的影响尽可能小。此外,我们的SDK已经针对流量进行了进一步优化,尽量减少流量的消耗。

2. 有试验正在运行,却收到了Testin A/B Testing关于SDK更新的通知,是否会影响试验结果?

Testin A/B Testing会在SDK更新的第一时间内推送更新公告,若您有试验处于运行状态,无需特地停止试验更新SDK。

为保证您现有试验的正常运行,旧版SDK的维护周期约在2-3个月,期间参与试验的用户将不会受到影响,更不会影响到试验结果的正常收集。但在开始下一次试验前,请务必集成最新的SDK,避免因此造成的数据误差,下载链接请参见SDK集成文档。


运行试验
1. 怎么判断一个试验是否已经达到成熟的试验结果?

一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。

如果置信区间同为正或同为负,得到的结果是可信的。如果置信区间为一正一负,则可以通过适当延长运行时间,或者调大流量的方式来调整试验。若仍然没有改善,可能是不同版本的效果差异不大,需要重新设计方案,并调整变量。

2. 每个试验都需要开发新的变量么?

不必须,试验变量可以很灵活的应用。

用户可以在导航栏内的「SDK集成」查看所有变量和优化指标的列表,已创建的变量(指标)可以用于多个试验版本,比如将按钮颜色设置为String类型的变量,就可以测试不同颜色。

3. 如果同时进行多个试验,不同试验之间会不会发生冲突?

-未分层试验:试验间的流量互斥,所有试验共用100%的流量,不同试验之间不会发生冲突。这样做一方面可以让用户体验更好,另一方面可以排除参与两个试验的用户带来的数据干扰。举例来说,若同时上线2个试验,设置试验A的流量为40%,试验B的可用流量为100%-40%=60%。也就是说,参与试验A的用户看不到试验B,反之亦然。

-分层试验:用户需注意设定分层条件,否则有可能会发生不同试验之间的冲突。具体分层条件,请参考流量分配文档。

无论分层与否,为了保证试验结果的科学性,建议将所有版本(包括原始版本)的流量分配保持一致。

4. 新建试验之后,我需要在应用市场重新发布App才能进行试验吗?

在正式开始运行之前,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中。之后,您就随时可以开始和停止相关的试验。

如果是对已经在代码中集成好的变量和指标进行修改,则无需重新发布APP。如果需要对试验变量和优化指标进行项目增减,那么应及时将代码同步并重新上传到应用市场。

5. 参与试验的用户是否必须连接到互联网,否则他们的行为数据将无法统计?

用户的离线状态对于试验的影响很小。

第一次进入试验版本,以及返回数据报告时,需要确保用户的网络连接正常。由于系统需要在网络环境下将用户分到不同版本,因此若尚未加载配置参数,用户进入应用程序时会默认进入原始版本,其行为数据也不会被收集到试验数据当中。

如果应用程序处于离线状态,Testin A/B Testing将使用配置参数的缓存版本。对于已加载的用户而言,在离线状态中的指标数据将储存在设备当中,一旦设备连接互联网,其累积的数据报告就会反馈到Testin A/B Testing。

6. 是否可以修改正在运行中的试验?如何操作?

在确保您的产品已经包含了试验变量与优化指标等功能模块的代码后,您可以随时更改更改试验变量、优化指标和流量分配,更改后即时生效。

流量分配:我们建议从小到大逐步调整试验流量,通过观察试验数据结果,您可实时对试验流量进行调节。
试验变量、优化指标:我们强烈建议您慎重操作。因为修改后的数据将会与之前的试验数据混合,可能造成结果不准确,不能确定究竟是什么原因造成的数据变化。如果您坚持要修改正在运行中的试验,我们建议您将现有试验停止,重新开始一个试验,以保证试验数据不被干扰或污染。

7. 停止的试验是否能重新开始?

试验停止后,显示的指标数据是在完整的试验周期内收集的。而在试验停止的时间段内,市场环境、用户群体等都可能会发生变化,不能保证试验数据的无缝衔接。

因此,为了保证试验数据参考价值,Testin A/B Testing不支持将已停止的试验重新开启。若重新开启试验,将会造成试验数据的混杂污染,数据结果不准确。如果需要重新开始一个试验,建议通过克隆该试验来完成。

8. 将试验完全停止后,用户看到的是哪个版本?

当试验选出最佳版本后,Testin A/B Testing支持“一键发布”新版本给所有用户。用户会在无感知的情况下,使用全新版本,无需经过应用市场审核。如果想进一步保证用户的良好体验,可以在新版本发布的同时,通过自己的用户沟通渠道通知用户。

若未使用“一键发布”功能,停止试验后,所有流量自动回归到当前试验的原始版本,用户将重新看到原始版本。

9. 为什么试验后台的UV数据和我自己统计的UV数据不一样?

在Testin的试验概况页面中,您会看到UV统计项。这是我们对有效进入试验的访客进行统计的一项优化指标,这个UV的定义的和传统意义上的UV还是有一些区别的:

传统UV: 使用该产品的独立访客

试验UV: 当用户进入网页/开启APP并触发所有试验变量后,才会判定其为1个有效的试验UV。

因此,您在试验中看到的UV和您自己统计的UV一般来说都是不一样的。

举一个极端的例子,如果参与试验的用户开启了APP,但是没有到达设置变量的页面(或者只触达了一部分页面)就退出了,那么我们的后台不会判定其为有效的试验UV,直到其再次开启并触发所有变量之后,才会被统计进去。

10. 在我发布或者结束试验后,用户的行为还会产生API消耗吗?

这取决于您在下次发版时,是否将上次试验的旧代码清除,这也是我们在合理优化配置试验资源中强调代码清除重要性的原因之一。

在您点击试验发布或结束后,我们服务器会给用户设备发送相应指令来引导其展示相应版本。如果您在之后新版本的源代码中及时清除了之前试验时的旧代码(即试验中多余的变量以及优化指标等集成代码),那么在用户更新了这个版本之后,将不再产生API消耗。

如果某些客户没有执行更新到这个新版本,那么遗留的代码将通过用户设备与我们服务器进行日常交互(因为它依然需要向服务器确认是否要进入某个试验中),从而产生一些API消耗。


账户
1. Testin A/B Testing服务是否免费?

Testin A/B Testing对新注册的用户提供45天的免费试用期。

在试用期内,所有功能和流量全部免费开放。超过试用期限后,功能自动关闭,只有升级到收费版本后才可以正常使用。

2. 与工作人员联系后,却一直没有收到邀请码,怎么回事?

不同的邮件运营商对邮件内容的判断标准不一,若未能在收件箱中查看到Testin A/B Testing激活邮件,请前往垃圾箱中检查。如果依然没有收到激活邮件,请及时与客服人员联系。

3. 同一个账户下,是否支持多个应用程序的A/B 测试?

支持。

如果您拥有多个不同的应用程序,直接在登录页面中手动添加即可。

4. 为何登陆到后台之后无法进行定向试验功能的操作?

Testin A/B Testing为用户设置了45天的免费试用期。在试用期内,如果需要定向试验等功能,请与我们的工作人员联系。我们会根据您的具体需求,为您开通相应权限。

若您的账户已超过免费试用期限,建议您根据需求升级到收费版本,以获得更全面的Testin A/B Testing服务。
 

H5编程式试验

祁宇 发表了文章 • 0 个评论 • 176 次浏览 • 2016-11-12 10:53 • 来自相关话题

H5编程式试验

在这部分中,我们将以优化页面上的一个标题的文案为例,来说明如何使用H5编程式。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.一个完整的A/B 测试需要根据目前已有的用户数据进行分析判断,推断并建立假设,才能针对性的做出改变和调整,点击怎么使用A/B 测试详细了解。根据具体需求,构建产品A/B 测试的需求文档,即明确本次试验的几个要素。

登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhocH5申请页面」。需要注意的是,Testin A/B Testing对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.点击「完成」,可以看到生成的APP Key,这是该应用的授权标识。此时,您需要通过该标识,在测试页面完成Web SDK集成,详情请参考SDK集成文档。



3.创建试验,选择「编程模式」,进入下一步。输入试验名称,填写相关的试验描述说明。为了方便寻找,可以将此次测试的内容设置为试验名称。



4.进入「编辑版本」模块,自动生成试验版本,点击版本名称即可进行修改。新建试验变量(即此次试验需要改动的内容):设置变量名称,填写变量说明,选择相应的变量类型。「String」代表用字符串表示的优化类型(如:文案内容、颜色),「Boolean」代表用逻辑判断表示的优化类型(如:是、否),「Number」代表用数字表示的优化类型(如:数量、尺寸)。

在这里,将变量名称设置为title,变量类型设置为String,例如document.getElementById("testtitle").value= adhoc.getExperimentFlags(“title”);。更多关于变量集成的信息,请参考SDK集成文档。

请注意,在添加变量时,务必以原始版本的默认值为准进行填写(点击“+”确认后,原始版本的变量值不可更改)。



之后,点击试验版本的变量值进行编辑修改。若有多个试验版本,可在当前版本的变量创建完成后,在页面下方点击“添加版本”进行创建。

设置好变量后,需要在产品代码中同步集成,请确保变量名称在平台与试验页面的一致性。



5.接下来进行「优化指标」设置(点击了解如何选取优化指标),这里为「TitleClick」。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

Testin A/B 测试支持在编程模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



6.在开始运行试验前,Testin A/B 测试支持用户直接通过后台选择,强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。同时,相关测试数据将不计入试验结果。


输入您需要预览的页面链接,选择试验版本并点击按钮,就会跳转到正在设置中的试验版本。同时,当对该页面的试验变量进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。重复上述操作,确保所有版本都验证正确,再进行下一步操作。



优化指标将在下表展示。



试验开始后,也可进入此页面进行调试,调试数据不会干扰试验结果。

7.进入试验控制页面,开始分配版本流量。我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



8.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



9.根据试验情况,适当调整流量。案例中的试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



10.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%,点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的结果显著且增长,因此我们在「运行控制」页面确定将其发布。



11.至此,我们就完成了一个H5编程式A/B 测试。试验版本正式发布后,所有用户都会看到优化过的标题文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。



12.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有变量和优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。


  查看全部
H5编程式试验

在这部分中,我们将以优化页面上的一个标题的文案为例,来说明如何使用H5编程式。先通过一张简单的流程图了解所需的步骤,再一步步进行具体操作:



1.一个完整的A/B 测试需要根据目前已有的用户数据进行分析判断,推断并建立假设,才能针对性的做出改变和调整,点击怎么使用A/B 测试详细了解。根据具体需求,构建产品A/B 测试的需求文档,即明确本次试验的几个要素。

登录Testin A/B 测试,选择相应的项目环境创建应用。建议以「产品名+环境+项目主题」的方式命名,例如:「AppAdhocH5申请页面」。需要注意的是,Testin A/B Testing对名称的设置只支持中英文和数字输入,无法使用特殊字符。



2.点击「完成」,可以看到生成的APP Key,这是该应用的授权标识。此时,您需要通过该标识,在测试页面完成Web SDK集成,详情请参考SDK集成文档。



3.创建试验,选择「编程模式」,进入下一步。输入试验名称,填写相关的试验描述说明。为了方便寻找,可以将此次测试的内容设置为试验名称。



4.进入「编辑版本」模块,自动生成试验版本,点击版本名称即可进行修改。新建试验变量(即此次试验需要改动的内容):设置变量名称,填写变量说明,选择相应的变量类型。「String」代表用字符串表示的优化类型(如:文案内容、颜色),「Boolean」代表用逻辑判断表示的优化类型(如:是、否),「Number」代表用数字表示的优化类型(如:数量、尺寸)。

在这里,将变量名称设置为title,变量类型设置为String,例如document.getElementById("testtitle").value= adhoc.getExperimentFlags(“title”);。更多关于变量集成的信息,请参考SDK集成文档。

请注意,在添加变量时,务必以原始版本的默认值为准进行填写(点击“+”确认后,原始版本的变量值不可更改)。



之后,点击试验版本的变量值进行编辑修改。若有多个试验版本,可在当前版本的变量创建完成后,在页面下方点击“添加版本”进行创建。

设置好变量后,需要在产品代码中同步集成,请确保变量名称在平台与试验页面的一致性。



5.接下来进行「优化指标」设置(点击了解如何选取优化指标),这里为「TitleClick」。同样,将优化指标设置完成后,需要对其进行代码集成。若在试验开始运行前,有指标增减的情况,应及时将代码同步。

Testin A/B 测试支持在编程模式下对复合指标的统计,也就是通过对已添加优化指标的组合计算,来表现一个复合型指标的数据,目前支持+-*÷及()运算。需要说明的是,复合指标无需单独集成代码埋点。



6.在开始运行试验前,Testin A/B 测试支持用户直接通过后台选择,强制进入试验环境,验证代码集成是否正确,并提前检测试验版本的效果。同时,相关测试数据将不计入试验结果。


输入您需要预览的页面链接,选择试验版本并点击按钮,就会跳转到正在设置中的试验版本。同时,当对该页面的试验变量进行操作,且相应的测试数据也会发生变化时,说明试验版本已经成功集成。若无法进入测试版本(包括原始版本)或无法正常统计试验数据,可能是集成过程中出现了错误,需修正后重新进行检验。重复上述操作,确保所有版本都验证正确,再进行下一步操作。



优化指标将在下表展示。



试验开始后,也可进入此页面进行调试,调试数据不会干扰试验结果。

7.进入试验控制页面,开始分配版本流量。我们提倡先从小流量入手,逐渐增大流量分配。在这里我们首先给试验版本分配了10%的流量,为了便于数据对比,我们同样将原始版本的流量设置为10%。剩余未被分配的80%流量,用户仍将看到原始版本,但这部分的用户行为数据不会计入试验数据中。



8.运行一段时间后,可以通过「试验概况」和「指标详情」查看试验数据详情。关于不同图表的具体解读,请参见如何用数据决策。



9.根据试验情况,适当调整流量。案例中的试验版本在小流量内的表现较好,因此我们将版本流量逐步放大至20%。为了保证版本流量的一致性,原始版本也同时提高到20%。



10.一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。对比不同版本的指标数据,若置信区间上下限同为正或同为负,说明试验结果显著;否则,请延长运行时间,若依然无显著表现,则说明版本间差异不大。在这里,试验版本的95%置信区间显示为[+30%,+35%],说明若上线试验版本,则有95%的可能将转化率提高30%~35%,点击了解更多置信区间详情。在得出可信的试验结果后,根据数据报告,选出表现最优的版本,将试验关停或一键发布。由于试验版本的结果显著且增长,因此我们在「运行控制」页面确定将其发布。



11.至此,我们就完成了一个H5编程式A/B 测试。试验版本正式发布后,所有用户都会看到优化过的标题文案。若试验结果显示原始版本的表现更好,则可选择关停试验版本,关停后,所有用户都将回到原始版本。



12.Testin A/B 测试支持在同一账户下创建多个应用和试验,可分别在登录页面和「试验列表」模块查看详情。同时,账户内的所有变量和优化指标设置,都可以在任意应用内的「SDK集成」模块中查看。