【问题标题】:Fb-Prophet, Apache Spark in Colab and AWS SageMaker/ LambdaFb-Prophet、Colab 中的 Apache Spark 和 AWS SageMaker/Lambda
【发布时间】:2022-08-11 20:28:40
【问题描述】:
我正在使用Google-Colab 通过使用 FbProphet 创建模型,并且我尝试在 Google-Colab 本身中使用 Apache Spark。现在我可以将这个Google-colab 笔记本上传到aws Sagemaker/Lambda 免费(without charge for Apache Spark and only charge for AWS SageMaker) 吗?
标签:
apache-spark
google-colaboratory
amazon-sagemaker
facebook-prophet
【解决方案1】:
简而言之,您可以毫无问题地将笔记本上传到 SageMaker。要记住的几件事
- 如果您在 colab 中使用 pyspark 库并在本地运行 spark,您应该能够通过在 Sagemaker Studio 内核中安装必要的 pyspark 库来执行相同操作。在这里,您只需为笔记本实例的底层计算付费。如果您正在尝试,那么我建议您使用https://studiolab.sagemaker.aws/ 创建一个免费帐户并尝试一下。
- 如果您有单独的 spark 集群设置,那么您可能需要在 AWS 中使用 EMR 进行类似设置,以便您可以连接到集群以执行作业。