【问题标题】:Does H2O Driverless AI have inbuilt support for merging multiple dataset and using the merged dataset for training?H2O Driverless AI 是否内置支持合并多个数据集并使用合并的数据集进行训练?
【发布时间】:2020-10-12 14:33:41
【问题描述】:
假设我们有三个数据集,其中包含来自一家公司的数据。
-
employee.csv :此数据集包含在公司工作的员工的详细信息,例如员工 ID、员工姓名、他所在部门的部门 ID、他所在国家的国家代码和他的年薪。
-
dept.csv :此数据集包含有关公司部门的信息,例如部门 ID、部门名称、部门专业。
-
country.csv:此数据集包含一些国家名称及其国家代码和国家首都。
H2O Driverless AI 中是否有一个功能,我们可以上传这些数据集(无需使用 python 合并)并将其合并到 H2O Driverless AI 平台中,并使用它来使用重叠列进行训练?
【问题讨论】:
标签:
csv
h2o
training-data
merging-data
driverless-ai
【解决方案1】:
是的,您可以使用数据配方来处理数据集(包括加入它们)。有关数据配方的更多信息,请参阅docs。您可以创建一个连接数据集的配方。
# Let's join a `employee.csv` (X) to `dept.csv` (Y1) and `country.csv` (Y2)
# Define and read locations of datasets for Y1/Y2
Y_file_name1 = "./tmp/user/location_of_dept.csv.bin"
Y_file_name2 = "./tmp/user/location_of_country.csv.bin"
Y1 = dt.fread(Y_file_name1)
Y2 = dt.fread(Y_file_name2)
# Set key and join Y1
key1 = ["dept_id"]
Y1.key = key1
X = X[:, :, dt.join(Y1)]
# Set key and join Y2
key2 = ["country_code"]
Y2.key = key2
X = X[:, :, dt.join(Y2)]
return X
请参阅 this recipe 作为将一个数据集连接到另一个数据集的示例。