给定数据框中项集的计数频率

Question

我有以下数据框，

data = pd.read_csv('sample.csv', sep=',')

我需要搜索集合中出现的项集的频率。例如：

itemsets = {(143, 157), (143, 166), (175, 178), (175, 190)}

这应该搜索数据帧中每个元组的频率（尝试实现 Apriori 算法）。我在如何单独处理数据框中的元组以及搜索元组而不是数据中的单个条目时遇到了麻烦。

Update-1

例如数据框是这样的：

39, 120, 124, 205, 401, 581, 704, 814, 825, 834
35, 39,  205, 712, 733, 759, 854, 950
39, 422, 449, 704, 825, 857, 895, 937, 954, 964

Update-2

仅当元组中的所有值都存在于特定行中时，函数才应增加元组的计数。 例如，如果我搜索 (39, 205)，它应该返回频率 2，因为其中 2 行同时包含 39 和 205（第一行和第二行）。

Answer 1

此函数将返回一个字典，其中包含元组计数在数据帧的整行中出现的次数。

from collections import defaultdict
def count(df, sequence):
    dict_data = defaultdict(int)
    shape = df.shape[0]
    for items in sequence:
        for row in range(shape):
            dict_data[items] += all([item in df.iloc[row, :].values for item in items])
    return dict_data

您可以将数据框和集合传递给count() 函数，它将为您返回数据框整行中元组的出现次数，即

>>> count(data, itemsets)
defaultdict(<class 'int'>, {(39, 205): 2})

您可以使用dict() 方法轻松地将其从defaultdict 更改为字典，即

>>> dict(count(data, itemsets))
{(39, 205): 2}

但它们的工作原理仍然相同。

Answer 2

itemsets = {(39, 205),(39, 205, 401), (143, 157), (143, 166), (175, 178), (175, 190)}

x = [[39,120,124,205,401,581,704,814,825,834],
[35,39,205,712,733,759,854,950],
[39,422,449,704,825,857,895,937,954,964]]

data = pd.DataFrame(x)

for itemset in itemsets:
    print(itemset)
    count = 0
    for i in range(len(data)):
        flag = True
        for item in itemset:
            if item not in data.loc[i].value_counts():
                flag = False
        if flag:
            count += 1
    print(count)

按照 cmets 中的建议进行编辑以考虑抽象项集的长度（非常感谢您提供有用的见解）。

Answer 3

首先，由于对问题是什么有一些误解，所以这个答案回答了“如何计算项目集中每个项目至少出现一次的行数？”的问题。

---

对于数据框中的每个row，我们可以决定是否将其计入频率中

all(item in row for item in items)

其中items 是一个项目集，例如(39, 205)。

我们可以使用DataFrame.itertuples遍历所有的行，所以对于每个项目集items，它的频率是

sum(1 for row in map(set, df.itertuples(name=None)) if all(item in row for item in items))

（我们使用map(set, ...)将元组变成集合，这不是必需的，但它提高了效率）

最后，我们遍历itemsets 中的所有项目集并将结果存储在字典中，其中键是项目集，值是频率：

{items: sum(1 for row in map(set, df.itertuples(name=None)) if all(item in row for item in items)) for items in itemsets}

---

输出： 您提供的案例的输出是{(39, 205): 2}

如果您不喜欢单行版本，您可以将算法扩展为几行，如下所示：

d = {}  # output dictionary
for items in itemsets:
    frequency = 0
    for row in df.itertuples(name=None):
        row = set(row)  # done for efficiency
        for item in items:
            if item not in row:
                break
        else:  # no break
            frequency += 1
    d[items] = frequency

有关for ... else 的更多信息可以在this answer 中找到