我们如何重命名 PYSPARK 中生成/输出的 parquet 文件或 AWS Glue 中的动态框架？

Question

这是从 AWS Glue 和 PySpark 在 S3 中生成的输出 parquet 文件，我们想给出一个特定的名称，例如 abcd.parquet，而不是自动生成的字符。任何帮助都会很棒。谢谢！ Image

Answer 1

很遗憾，这是不可能的。 Glue 在后台使用 Spark，它将这些名称分配给您的文件。

你唯一能做的就是写完后重命名。