A/B 测试后如何衡量模型？

Question

我正在开发一个已经运行多年的系统，现在他们决定添加一个推荐引擎。在进行 A/B 测试之后，我们将决定一个模型。现在，有没有办法衡量这个模型的表现如何？

Answer 1

您的目标指标是实验设计的问题，通常没有人能比您更好地回答这个问题。通常，您需要一种衡量参与度的方法。其中一些将是立竿见影的，但有些影响可能需要更长的时间才能注册，例如当用户记住您的推荐但在一段时间后返回时。直接影响，例如点击推荐项目，很容易记录，因为它发生在当前用户体验的时间范围内。长期影响更难记录，因为您需要一种方法来将潜在操作与前一段时间发生的建议关联起来。