来自带有标签的嵌套目录的 Spark Dataframe答案

【问题标题】：Spark Dataframe from nested directories with labels来自带有标签的嵌套目录的 Spark Dataframe
【发布时间】：2021-10-05 21:50:39
【问题描述】：

我正在尝试以这样的嵌套目录结构从 HDFS 读取 8gb 图像：

   train_set
   |___dir_0
   |   |___0.jpg
   |   |___1.jpg
   |___dir_2
   |   |___0.jpg
   |   |___1.jpg

我正在使用 Scala 和 Spark，我已经尝试了所有 doc 解决方案，但我无法摆脱这种情况。我想要一个带有 col "image" 和 "label" 的 Dataframe，其中 label 是图像父目录的名称（或索引）。非常感谢您的宝贵时间。

【问题讨论】：

【解决方案1】：

当您将图像作为数据框读取时，您将获得一个称为图像的结构列。图像的子列之一是标记父目录的原点。

spark.read.format("image").load("train_set/dir_0/*.jpg", "train_set/dir_2/*.png")
  .selectExpr("image", "image.origin as label").show

如果您使用的是版本 >= 3.0.0 的 spark，那么您可以使用 some options 而不是将多个文件路径作为参数传递给 load() 方法。

【讨论】：