AWS EC2 中的 Spark 集群启动错误答案

【问题标题】：Spark cluster launch error in AWS EC2AWS EC2 中的 Spark 集群启动错误
【发布时间】：2015-04-12 14:28:38
【问题描述】：

我正在尝试在我在开发 AWS 实例中创建的 EC2 上启动 Spark 集群。我能够使用 AWSCLI 作为 ec2-user 成功连接到 EC2 实例。我使用现有的 VPC 和 AMI 来创建这个 EC2。在 EC2 上解压缩 Spark 文件并使用私钥尝试使用以下方法启动集群：

导出 AWS_SECRET_ACCESS_KEY=xxx

导出 AWS_ACCESS_KEY_ID=xxx

/home/ec2-user/spark-1.2.0/ec2$ ./spark-ec2 -k test -i /home/ec2-user/identity_files/test.pem 启动 test-spark-cluster

得到错误： boto.exception.EC2ResponseError：EC2ResponseError：400 错误请求 InvalidKeyPair.NotFound密钥对'test'不存在xxx

我想，这可能是由于 region 的问题，所以我在启动 spark 时使用了 region 和 zone 参数

/home/ec2-user/spark-1.2.0/ec2$ ./spark-ec2 -k test -i /home/ec2-user/identity_files/test.pem -r us-west-2 -z us -west-2a 启动 test-spark-cluster

但是，当我运行它时，我遇到了一个不同的错误：

boto.exception.EC2ResponseError: EC2ResponseError: 400 Bad Request VPCIdNotSpecified此用户xxx没有默认VPC

我该如何解决这个问题？

【问题讨论】：

标签： amazon-ec2 apache-spark aws-cli

【解决方案1】：

我不是这方面的专家，但我建议您在脚本调用中设置更多参数，例如：

./spark-ec2 -k test 
            -i /home/ec2-user/identity_files/test.pem 
            -s 5 
            --instance-type=m3.medium 
            --region=eu-west-1 
            --spark-version=1.2.0 
            launch myCluster

-s 指的是要创建的即时数量。此外，您可能需要检查以下内容，请特别注意最后一项：

密钥对 test 存在于您的帐户中
密钥对 test.pem 存在于 EC2 控制台上
密钥对和实例的区域相同

在网上搜索发现，大部分与未找到密钥对有关的错误都是由区域不匹配引起的。

【讨论】：