哪种算法/实现通过用户选择的距离属性来加权相似度？

Question

数据结构：

User has many Profiles
    (Limit - no more than one of each profile type per user, no duplicates)
Profiles has many Attribute Values
    (A user can have as many or few attribute values as they like)
Attributes belong to a category
    (No overlap. This controls which attribute values a profile can have)

示例/上下文：

我相信通过堆栈交换，您可以为一个用户拥有多个配置文件，因为每个交换站点的配置文件都不同？在这个问题中：

• 配置文件：视频，因此视频配置文件仅包含视频类别的属性
• 属性，因此视频类别中的属性可能是流派
• 属性值，例如喜剧、动作、惊悚都是属性值

配置文件和属性只是在两个级别上对属性值进行分组的方式。 没有分组（这是从 2. 开始的加权所需要的），关系只是 User hasMany Attribute Values。

问题：

给每个用户一个相似度评分与其他用户。

1. 基于与用户关联的所有属性值的相似性。
   • 平/一级
   • 两个用户之间的属性值数量不等
   • 每个用户只能选择一次属性值，所以不能重复
   • 因此，具有余弦相似度的二进制字符串/布尔数组？
2. 1 + 重量 配置文件
   • 给每个配置文件一个权重（总共 1 个？）
   • 计算出轮廓相似度，然后乘以权重并求和？
3. 1 + 权重属性类别和配置文件
   • 由于属性属于类别，类别可以加权
   • 每个类别的相似度，加权总和，然后按配置文件相同？
   • 或合并个人资料和类别权重
4. 3 + 距离每个属性值
   • 每个可能值与值的相似性距离表
   • 而不是值的相似度 === 值
   • “接近”属性有助于整体相似性。
   • 不知道怎么做这个

花哨的代码和有用的功能很棒，但我真的很想完全了解如何完成这些任务，所以我认为通用伪代码是最好的。

谢谢！

Answer 1

首先，您应该记住everything should be made as simple as possible, but not simpler。这条规则适用于许多领域，但在语义、相似性和机器学习等方面，它是必不可少的。使用多层抽象（属性 -> 类别 -> 配置文件 -> 用户）会使您的模型更难理解和推理，因此我会尽量省略它。这意味着最好在用户和属性之间保持直接关系。因此，基本上您的用户应该表示为向量，其中每个变量（向量元素）代表单个属性。

如果您选择此类表示，请确保所有属性都有意义并且在此上下文中具有适当的类型。例如，您可以将 5 种视频类型表示为 5 个不同的变量，但不能表示为 1 到 5 的数字，因为余弦相似度（以及大多数其他算法）会错误地处理它们（例如，将惊悚片相乘，表示为 2，喜剧，表示为5，这实际上没有意义）。

可以在适用时使用属性之间的距离。虽然我很难在你的设置中举出例子。

此时您应该停止阅读并尝试一下：将用户简单表示为属性向量和余弦相似度。如果它运作良好，请保持原样 - 过度复杂的模型永远不会好。

如果模型表现不佳，请尝试了解原因。你有足够的相关属性吗？还是有太多嘈杂的变量只会让情况变得更糟？还是某些属性真的应该比其他属性更重要？根据这些问题，您可能希望：

1. 运行feature selection 以避免嘈杂的变量。
2. 转换您的变量，在其他“坐标系”中表示它们。例如，您可以使用 M 个其他变量来表示与特定社会群体的接近程度，而不是使用 N 个变量来表示 N 个视频流派。比如说，“喜剧”变量的 1 变成“儿童”变量的 0.8，“家庭主妇”的 0.6 和“老人”的 0.9。或者别的什么。任何看起来更“正确”的翻译都可以。
3. 使用权重。不是类别或配置文件的权重，而是不同属性的权重。但是不要自己设置这些权重，而是运行linear regression 来找出它们。

让我更详细地描述最后一点。而不是简单的余弦相似度，看起来像这样：

cos(x, y) = x[0]*y[0] + x[1]*y[1] + ... + x[n]*y[n]

你可以使用加权版本：

cos(x, y) = w[0]*x[0]*y[0] + w[1]*x[1]*y[1] + ... + w[2]*x[2]*y[2]

找到此类权重的标准方法是使用某种回归（线性回归是最流行的）。通常，您收集数据集(X, y)，其中X 是一个矩阵，其中您的数据向量位于行上（例如出售房屋的详细信息），y 是某种“正确答案”（例如房屋出售的实际价格）为了）。但是，在您的情况下，用户向量没有正确答案。实际上，您只能对它们的相似性定义正确的答案。那为什么不呢？只需让X 的每一行成为 2 个用户向量和y 的对应元素的组合 - 它们之间的相似性（您应该自己为训练数据集分配它）。例如：

X[k] = [ user_i[0]*user_j[0], user_i[1]*user_j[1], ..., user_i[n]*user_j[n] ]
y[k] = .75  // or whatever you assign to it

HTH