使用 2 个带有字典的 CSV 文件构建字符串

Question

我已经为这个任务苦苦挣扎了很长一段时间，在这里我请求一些关于如何解决我的问题的指导。

为了提供一些背景信息，我有大约 60'000 个文件正在尝试重新组织。我有 2 个要使用的 CSV 文件。

file1.csv

id |    path       | objectid | image path
 1 | path/to/file1 |   4123   | http://url./image1.jpg
 2 | path/to/file2 |   5111   | http://url./image2.jpg

...(about 60'000 rows)

file2.csv

objectid | categoryid | termid | Description | parent
  4123   |    8302    |  14    |  Category1  |   10
  4123   |    5123    |  66    |  Category2  |   14

所以第二个文件可以有多个具有相同 objectid 的行（在 file1 中，每行只有 1 个）。这使得使用 parent -> termid 创建的子类别可用。 Categoryid 只是类别名称的 id，但父列正在查看 termid 以确定它的父级。

所以我想要实现的是以下内容：从 file1.csv 获取文件路径，通过它的 objectid 找到 file2.csv 中具有相同 objectid 的所有行，根据父编号对它们进行排序（低位优先) 并将在同一行上以正确顺序（用 / 分隔）的每个描述添加到 file1 中的现有路径。最终它会从同一行下载一个图像并将其移动到文件系统中，但我正在努力获得制作文件名的东西。

这是我现在拥有的代码：

import csv

main_dict = {}
with open('files1.csv', newline='', encoding='utf-8') as f:
        reader = csv.reader(f)
        for row in reader:
            filepath = row[1]
            objectid = row[2]
            imagepath = "http://url.com" + row[3] + "_0001.jpg"
            key = row[2]
            main_dict[key] = row[1]
        #print(main_dict)

second_dict = {}
with open('file2.csv', newline='', encoding='utf-8') as f:
        reader = csv.reader(f)
        for row in reader:
            key = row[0]
            second_dict[key] = row[3]
        print(second_dict)

for key in main_dict:
    if key in second_dict:
        print(second_dict[key] + '/' + main_dict[key] )

我可能会朝着完全错误的方向前进，因此我们将不胜感激任何帮助。

P.S 我用的是 Python3.5

非常感谢！

Answer 1

我认为最有效的方法是使用 pandas 模块作为 python 数据分析生态系统的一部分。我在以下代码示例中使用 python 版本 2.7 来执行您所要求的操作，因此您可以尝试将其移植到 python 3.5 中，但应该很简单。

Pandas 使用内部数据框（在下面的代码中显示为“df”）对象来存储表格信息

import pandas as pd
import numpy as np

df1 = pd.read_csv(r"C:\Users\alii\Desktop\stackOF.csv") # file1
df2 = pd.read_csv(r"C:\Users\alii\Desktop\stackOF2.csv") # file2

_{df1 看起来像这样：}

_{df2 看起来像这样：}

df2 = df2.sort(['parent']) # sort by parent
df1 = df1.set_index(df1.objectid)

_{df1 看起来像这样：}

df2['path'] = df2.objectid.map(df1.path) #add path for each objectid from file1

_{df2 看起来像这样：}

s3 = df2.groupby('objectid').apply(lambda x: np.repeat(x['Description'].values, 1).tolist())
df2 = df2.set_index(df2.objectid)
df3 = s3.to_frame('Description')
df3 = df3.reset_index()

_{df3(new object) 看起来像这样：}

df3['path'] = df3.objectid.map(df2.drop_duplicates('objectid').path)

_{df3(new object) 看起来像这样：}

df3['Description'] = df3['Description'].apply(lambda x: '/'.join(x))

_{df3(new object) 看起来像这样：}

df3['Description'] = df3['Description'].astype(str) + str('/') +df3['path'].astype(str)
df3 = df3.drop('path', 1)

_{df3（新对象）看起来像这样（最终）：}

df3.to_csv('file3.csv')