使用 Python 制作矩阵（特征矩阵？）

Question

假设我有一个包含如下列的 excel 文件：

Name      Day of Shopping     Food bought      
 Bob       March 14, 2015           Apple            
 Bob       March 14, 2015            Pear                
 Joe       April 15, 2013           Apple             
 Bob        June 28, 2017     Pomegranite   
Jake      January 4, 2008          Orange   
Jake        April 9, 2010           Peach
 Joe     December 6, 2016          Banana

还有另一个excel文件，内容如下：

Name      Day of Shopping     Drink bought       
 Bob       March 14, 2015            Water    
 Joe       April 15, 2013            Juice    
 Bob        June 28, 2017             Soda
Jake      January 4, 2008            Water
Jake        April 9, 2010              Tea
 Joe     December 6, 2016             Soda

我想要做的是把它变成一个新的 excel 表，或者只是一个矩阵，上面写着：

Name   Apple  Pear  Pomegranite Orange Peach Banana Water Juice Soda Tea
Bob     1      1     0           0       0     0     1      0    0    0 
Joe     1      0     0           0       0     0     0      1    0    0 
Jake    0      0     0           1       0     0     1      0    0    0 

所以最后我得到了一个包含名称的矩阵，以下列列出了食物选项和分配名称的值（1 或 0）用于确定该项目是否是为此购买的天。请注意，在我上面描述的矩阵中，即使每个人的初始日期不同，也只找到了第一个日期的值。更多列将描述其他日期。

请帮忙。

Answer 1

您可以使用pd.crosstab 来执行此操作。假设您将数据加载到 pandas 中，并将数据框命名为 df1 和 df2。首先将Food bought 和Drink bought 两列重命名为相似的名称（我选择了Item）以轻松连接值

df1.rename(columns={'Food bought':'Item'},inplace=True)
df2.rename(columns={'Drink bought':'Item'},inplace=True)
df = pd.concat([df1,df2])

然后计算交叉表

pd.crosstab(df.Name,df.Item)

哪个会输出

Item  Apple  Banana  Juice  Orange  Peach  Pear  Pomegranite  Soda  Tea  Water
Name                                                                          
Bob       1       0      0       0      0     1            1     1    0      1
Jake      0       0      0       1      1     0            0     0    1      1
Joe       1       1      1       0      0     0            0     1    0      0

---

更进一步，您可以计算按日期分组的交叉表。要在 pandas 中执行此操作，我们需要将 Day of Shopping 转换为日期时间对象

df['Day of Shopping'] = pd.to_datetime(df['Day of Shopping'])

现在只需将此信息添加到pd.crosstab

pd.crosstab([df['Day of Shopping'],df.Name],df.Item)

Item                  Apple  Banana  Juice  Orange  Peach  Pear  Pomegranite  \
Day of Shopping Name                                                           
2008-01-04      Jake      0       0      0       1      0     0            0   
2010-04-09      Jake      0       0      0       0      1     0            0   
2013-04-15      Joe       1       0      1       0      0     0            0   
2015-03-14      Bob       1       0      0       0      0     1            0   
2016-12-06      Joe       0       1      0       0      0     0            0   
2017-06-28      Bob       0       0      0       0      0     0            1   
Item                  Soda  Tea  Water  
Day of Shopping Name                    
2008-01-04      Jake     0    0      1  
2010-04-09      Jake     0    1      0  
2013-04-15      Joe      0    0      0  
2015-03-14      Bob      0    0      1  
2016-12-06      Joe      1    0      0  
2017-06-28      Bob      1    0      0  

Answer 2

在读取您的 Excel 表格方面，您可以将它们导出为 CSV 文件并使用 Python 的 CSV Parser 从表格中读取您的值。就个人而言，我会使用来自collections 模块的默认字典。这允许您为字典键设置默认值。您可以为您拥有的每个唯一名称创建一个默认值为 0 的默认字典，并且当他们购买新产品时，将其值增加 1。要创建输出，您遍历每个客户，然后遍历他们可以购买的产品列表——因为它是一个默认值为 0 的默认字典，所以您不会遇到键不匹配的问题。

粗略的示例代码：

from collections import defaultdict

customers = {}

# Name represents the first column of your CSV entries, and product is the third column
for entry in csvdata:
    name = entry[0]
    if name not in customers:
        customers[name] = defaultdict(int) # Sets the default value to zero
    product = entry[2]
    customers[name][product] += 1

# Now you have a dictionary with customers as sub-dictionaries
# Each sub-dictionary has the count for each product

product_list = ["apples", "oranges", "pears"]

for customer, purchases in customers.items():
    for product in product_list:
        print(purchases[product])

Answer 3

假设您在名为df1 的数据框中有第一个电子表格，而在df2 中有第二个电子表格，那么正确的做法是：

import pandas as pd
df = pd.concat([df1, df2])
pd.get_dummies(df, columns=['Food bought'], 'Drink bought']).groupby('Name').sum()

说明：先用pd.concat将两张表垂直合并。然后，使用pd.get_dummies 对“购买”列中的值进行一次热编码——这将为找到的每个独特的食物和饮料添加一列，当该行包含该值时为 1（因此每行只有一个 1 ）。然后将groupby“姓名”浓缩成姓名，最后取每个人的sum，将每个人购买的物品总数汇总为一行。

要将excel文件读入python，请使用pd.read_excel