如何在 AWS EMR 集群中为 pyspark 安装附加包？

Question

我有一个 pyspark 应用程序，它在后台使用 boto3 库。

我正在尝试使用包含应用程序依赖项的内置轮包启动应用程序。

我通过 emr 集群的引导操作安装了像 boto3 这样的外部依赖项。

sudo python3 -m ensurepip --upgrade                                                                                                           
sudo python3 -m pip install boto3==1.24.83

我在集群配置中为 python3 手动指定了 spark.pyspark.python 选项。

而且我无法解决没有包裹的问题

ModuleNotFoundError: No module named 'boto3'

Answer 1

您可以通过在集群配置中指定引导操作来执行此操作，可以找到更多详细信息 here

示例 - 引导程序

boostrap .sh

#!/bin/bash

sudo python3 -m pip install 
    botocore 
    boto3