【发布时间】:2017-06-16 04:46:26
【问题描述】:
将我的 word2vec 模型写入 S3,如下所示:
model.save(sc, "s3://output/folder")
我通常没有问题,所以没有 AWS 凭证问题,但我随机收到以下错误。
17/01/30 20:35:21 WARN ConfigurationUtils:无法创建临时目录 适当的权限:/mnt2/s3 java.nio.file.AccessDeniedException:/mnt2 在 sun.nio.fs.UnixException.translateToIOException(UnixException.java:84) 在 sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) 在 sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107) 在 sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider.java:384) 在 java.nio.file.Files.createDirectory(Files.java:674) 在 java.nio.file.Files.createAndCheckIsDirectory(Files.java:781) 在 java.nio.file.Files.createDirectories(Files.java:767) 在 com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths(ConfigurationUtils.java:216) 在 com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem.initialize(S3NativeFileSystem.java:447) 在 com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:111) 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2717) 在 org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:93) 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2751) 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2733) 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:377) 在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:295) 在 org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.(FileOutputCommitter.java:113) 在 org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.(FileOutputCommitter.java:88) 在 org.apache.parquet.hadoop.ParquetOutputCommitter.(ParquetOutputCommitter.java:41) 在 org.apache.parquet.hadoop.ParquetOutputFormat.getOutputCommitter(ParquetOutputFormat.java:339)
在各种集群中尝试过,但没有设法弄明白。这是 pyspark 的已知问题吗?
【问题讨论】:
标签: apache-spark amazon-s3 pyspark parquet