如何获取火花数据框中记录的输入文件名？

【问题标题】：how to get input file name of a record in spark dataframe?如何获取火花数据框中记录的输入文件名？
【发布时间】：2022-03-11 07:02:10
【问题描述】：

我通过从 s3 加载制表符分隔文件在 spark 中创建数据框。我需要获取数据框中每条记录的输入文件名信息以进行进一步处理。我试过了

dataframe.select(inputFileName())

但是我得到了 input_file_name 的空值。有人请帮我解决这个问题。

【问题讨论】：

【解决方案1】：

您可以使用withColumn 和input_file_name() 在数据框上创建一个新列：

dataframe.withColumn("input_file", input_file_name())

【讨论】：