如何在 SparkR 中设置 fs.s3.awsAccessKeyId 和 fs.s3.awsSecretAccessKey？答案

【问题标题】：How to set up fs.s3.awsAccessKeyId and fs.s3.awsSecretAccessKey in SparkR?如何在 SparkR 中设置 fs.s3.awsAccessKeyId 和 fs.s3.awsSecretAccessKey？
【发布时间】：2017-08-28 21:30:32
【问题描述】：

我正在尝试使用 sparkR 和 spark 2.1 访问存储在 S3 存储桶中的 parquet 文件。

我尝试以这种方式设置 aws 机密。

Sys.setenv(AWS_ACCESS_KEY_ID="XXXX")
Sys.setenv(AWS_SECRET_ACCESS_KEY="XXXX")

但它返回一个错误：

错误：loadDF 中的错误：非法参数 - AWS 访问密钥 ID 和 Secret Access Key 必须指定为用户名或密码（分别）s3 URL，或通过设置 fs.s3.awsAccessKeyId 或 fs.s3.awsSecretAccessKey 属性（分别）。

【问题讨论】：

你找到答案了吗？
您是否安装了 AWS 命令行工具？

标签： r apache-spark sparkr

【解决方案1】：

将您的凭据直接传递到请求的 url 不会引发错误。

s3n://XXXX:XXXX@bucket/file/whateveryouwant 其中 XXXX:XXXX 是您的 aws_access_key_id:aws_secret_access_key

【讨论】：