使用python合并两个csv文件

Question

我有两个带有通用标题的 csv 我需要将两个 csv 文件合并到一个 csv 文件列中 我的第一个 csv 文件看起来像

 step   item    path_of_logfile value
adi landlord    /home/abcd.txt  1000
vc  abcd    /hom/efgh.txt   2000

另一个 csv 看起来像这样

step    item    path_of_logfile value
adi landlord    /home/txt        4500
VC  abcd    /home/efgh.txt      3000
DC  abcd    /home/efgh.txt      pass

所需的输出是

step item path_of_logfile value path_of_logfile value
 adi  landlord  /home/abcd.txt 4500 /home/abcd.txt1000
 VC abcd     /home/efgh.txt 3000/home/efgh.txt 2000
 DC   abcd     /home/efgh.txt pass

我使用 pandas 通过 python 完成

code
   import pandas as pd
  first = pd.read_csv('1st.csv')
  second = pd.read_csv('2nd.csv')
  merged = pd.concat([first, second], axis=1) 

请帮助我获得所需的输出 csvfile

Answer 1

你很接近。您需要 merge 数据帧而不是连接它们。在这种情况下，您希望合并相同的键值。

您的问题有点复杂（不多），因为您的 .csv 文件不是标准格式，因为值之间有多个空格而不是逗号（csv 中的“c”）。

这行得通。值得注意的是，另一个文件中的小写“vc”和大写“VC”不匹配。也许这是一个错字？

import pandas as pd
first = pd.read_csv('1st.csv', sep= '\s+')
second = pd.read_csv('2nd.csv', sep= '\s+')

merged = first.merge(second, how='outer', on='step')  

print(merged)

merged.to_csv('merged.csv', na_rep='pass', index=False)

产量：

  step    item_x path_of_logfile_x  value_x    item_y path_of_logfile_y value_y
0  adi  landlord    /home/abcd.txt   1000.0  landlord         /home/txt    4500
1   vc      abcd     /hom/efgh.txt   2000.0       NaN               NaN     NaN
2   VC       NaN               NaN      NaN      abcd    /home/efgh.txt    3000
3   DC       NaN               NaN      NaN      abcd    /home/efgh.txt    pass

CSV 文件：

step,item_x,path_of_logfile_x,value_x,item_y,path_of_logfile_y,value_y
adi,landlord,/home/abcd.txt,1000.0,landlord,/home/txt,4500
vc,abcd,/hom/efgh.txt,2000.0,pass,pass,pass
VC,pass,pass,pass,abcd,/home/efgh.txt,3000
DC,pass,pass,pass,abcd,/home/efgh.txt,pass

Answer 2

代码：

import pandas as pd
first = pd.read_csv('1st.csv', sep='    ', engine='python')
second = pd.read_csv('2nd.csv', sep='    ', engine='python')
merged = pd.concat([second, first] ,axis=1, keys = 'step')
print(merged)

输出：

s                                    t                                  
  step      item path_of_logfile value step      item path_of_logfile   value
0  adi  landlord       /home/txt  4500  adi  landlord  /home/abcd.txt  1000.0
1   VC      abcd  /home/efgh.txt  3000   vc      abcd   /home/fgh.txt  2000.0
2   DC      abcd  /home/efgh.txt  pass  NaN       NaN             NaN     NaN

您需要在 pd.concat() 内定义 keys 以便它可以定位列它必须在其上执行连接。另外，我在这里使用了 engine='python' 否则会引发警告。我也在考虑这里的数据有 4 个空格分隔符，这就是为什么我为 sep 方法分配了 4 个空格。