使用两列连接多个 CSV 文件

Question

我有几个 csv 文件，一个用于患者血压，另一个用于心率、WBc 等，用于同一患者和同一小时测量，请参阅以下示例

第一个 csv：

    subject_id     hour_id    value         label
    
    1                 1           96        blood pressure
    1                 1           94        blood pressure

    1                 1           93        blood pressure

    2                 2           99        blood pressure

第二个 csv：

    subject_id     hour_id    value        label
     
    1                 1           80        Heart rate
    
    2                 2           89        Heart rate
    2                 2           81        Heart rate

第三个csv：

    subject_id     hour_id    value        label
     
    1                 1           1        WBC
    
    2                 2           10       WBC
    2                 2           12       WBC

第四个 csv：

    subject_id     hour_id    value        label
     
    1                 1         123        glucose
    
    2                 2        111           glucose
    2                 2        113           glucose

期望的输出：

    subject_id     hour_id     blood_pressure    heart rate    WBC     gloucose
    
    1                 1           96               80           1         123
    
    2                 2           99               89           10         120    

我试过了：

df = pd.read_csv('D:\\....', low_memory=False, error_bad_lines=False)
df2 = pd.read_csv('D:\\Users', low_memory=False, error_bad_lines=False)
merged = pd.concat([df, df2,df3,df4], axis=1, keys=['subject_id', 'hour_mesaure'])
print(merged)

但它给了我：

  subject_id     hour_id        blood_pressure     
    
    1                 1              96           
         
    2                 2               99   


   subject_id     hour_id    value        label
     
    1                 1           80        Heart rate
    
    2                 2           89        Heart rate

并按顺序完成文件

任何帮助将不胜感激

Answer 1

你可以试试这个：

import pandas as pd


df1 = pd.read_csv('1.csv')
df2 = pd.read_csv('2.csv')
df3 = pd.read_csv('3.csv')
df4 = pd.read_csv('4.csv')

dfs = [df1, df2, df3, df4]

df = pd.concat(dfs)
df = df.pivot(index=['subject_id', 'hour_id'], columns='label', values='value').reset_index().rename_axis(index=None, columns=None)

print(df)

输出：

   subject_id  hour_id  Heart rate  WBC  blood pressure  glucose
0           1        1          80    1              96      123
1           2        2          89   10              99      120

在线现场演示链接：https://replit.com/@tssovi/test#main.py

Answer 2

不使用任何外部库。
这个想法是将数据收集到一个字典中并迭代该字典并创建输出。
1.csv & 2.csv 包含 BP & HR 数据。
扩展列表[1, 2] 以添加更多输入文件。

输出以逗号分隔，但您可以根据需要更改它。

from collections import defaultdict

data = defaultdict(list)

for x in [1, 2]:
    with open(f'{x}.csv') as f:
        lines = [l.strip() for l in f.readlines() if l.strip()]
        for idx, line in enumerate(lines):
            if idx > 0:
                parts = line.split()
                data[(parts[0], parts[1])].append((parts[2], parts[3]))

with open('merged.csv','w') as f:
    for idx, (k, v) in enumerate(data.items()):
        if idx == 0:
            headers = ['subject_id', 'hour_id']
            headers.extend(x[1] for x in v)
            f.write(','.join(headers) + '\n')
        fields = [k[0], k[1]]
        fields.extend(x[0] for x in v)
        f.write(','.join(fields) + '\n')

输出

subject_id,hour_id,blood,Heart
1,1,96,80
2,2,99,89

Answer 3

你基本上需要在 concat 之后旋转数据。

你可以这样继续：

merged = pd.concat([df, df2,df3,df4])

在此之后，您需要对数据进行透视：

merged.pivot(index = ['subject_id', 'hour_id'], columns = ['label'], values = ['value'])