对 Firebase A/B 用户组和 Firebase Analytics 感到困惑

Question

我们经常使用 Firebase A/B，我们​​注意到有时用户可能由于各种原因（例如：网络错误、网络慢）而无法获取他们的远程配置值，如果我们上传我们想要在 A 中使用的关键事件/B 测试此时，该事件是否包含在 A/B 分析中？该活动将属于哪个组？

我们希望只有当用户获得正确的 A/B 远程配置值时，才能将事件包含在正确的组中。

一个示例场景：

1.我创建了一个名为“登录 UI”的 A/B 测试并使用远程配置“new_login_ui”来测试新的登录 UI。

new_login_ui：默认值为“”：旧 UI，GROUP A：“false”：旧 UI，GROUP B：“true”：新 UI

2.我使用事件“login_success”作为测试目标指标。

3.一个用户进入我的应用，但得到“new_login_ui”的默认值“”，所以应用给用户旧的UI，用户登录成功后，我上传“login_success”事件。

4.下次用户进入我的应用时，我发现用户得到“new_login_ui”值“true”，所以用户被分组到GROUP B。

那么混乱发生了，带有旧UI行为的事件“login_success”是否会包含在新UI组的GROUP B中？

如果为真，则 A/B 结果被破坏，因为 login_success 属于旧 UI 组。

Answer 1

如果应用接收到默认参数值，则用户可能尚未包含在实验中。如果用户满足所有目标条件并在远程配置上调用 fetch > activate 或 fetchAndActivate 方法，您应该在分析详细日志中看到条件用户属性（例如 firebase_exp_id，id 是实验编号）。要验证您的实现，您可以在应用中启用详细日志记录和调试模式，然后使用DebugView 控制台。

设置条件用户属性后，SDK 将开始跟踪用户将记录的事件。

如果您从实验中加载远程配置值，您可以使用Remote Config loading strategy 2。当用户进入实验并应用实验值时，这将为 A/B 测试提供额外的时间。