Spark作业（洗牌）完成作业的时间太长[重复]

Question

我正在 EMR 上运行 Spark 作业，并尝试将一个大型压缩 CSV 文件 (15GB) 转换为 parquet，但写入 S3 花费的时间太长。

我将 R5 实例用于主实例（1 个实例）和核心实例（3 个实例）。这是我的代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_date

def main():
    spark = SparkSession \
        .builder \
        .appName("csv-to-parquer-convertor") \
        .config("spark.sql.catalogimplementation", "hive") \
        .config("hive.metastore.connect.retries", 3) \
        .config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") \
        .enableHiveSupport().getOrCreate()   

    tgt_filename = 'SOME_Prefix'
    src_path = 'SOURCE_S3_PATH'
    tgt_path = 'TARGET_ BUCKET' + tgt_filename 

    df = spark.read.csv(src_path, header=True)
    partitioned_df = df.repartition(50)
    partitioned_df.write.mode('append').parquet(path=tgt_path)
    spark.stop()

if __name__ == "__main__":
    main()

Answer 1

如果您想要更好的性能，请停止使用 S3。我是认真的。您根本没有做足够的工作来真正优化您的代码。这是一个简单的问题。如果您更改耗时最长的内容，您将获得更好的性能。 （您的读/写速度。）这肯定是您问题的瓶颈。要解决此问题，您需要考虑使用性能比 S3 更好的东西。 HDFS 集群性能更好，并且开箱即用，因此可能是一个很好的首选。当然，它们也是其他选择，但这取决于您喜欢什么。