无法访问由 AWS Glue 中的 jar 文件生成的 csv 文件

Question

这是我的第一个问题！

因此，我们正在处理一些与 MDM 相关的内容，其中我们需要运行 MDM 合作伙伴提供的 jar 文件来合并记录。我们可以在 AWS Glue 脚本中调用 subprocess() 方法来运行 jar 文件。到目前为止一切都很好。我们需要在属性文件中写入位置和文件名，但遗憾的是它不接受除 Windows/Linux 样式文件链接之外的任何 S3 存储桶链接。

我们确实尝试过：

MERGE_OUTPUT_FILE_LOCATION:./filename

我们试图通过它指向 Glue 作业中的临时目录（不接受 TempDir/文件名），以上是 jar 文件开始执行的唯一方式。 然后我们尝试从 TempDir 引用这个文件名来创建一个 DynamicFrame，但由于实际上不存在这样的文件而失败。

create_jar_frame = glueContext.create_dynamic_frame.from_options(connection_type="s3",connection_options = {"paths": ["TempDir/filename.csv"], "recurse": True},format="csv")

知道当给定位置只是文件在 AWS Glue 中的保存位置

./filename

知道如何引用临时目录中生成的文件并将其拉入动态框架吗？或者我们应该创建一个 EC2 实例/EMR 并以漫长而艰难的方式完成它？

Answer 1

事实证明，AWS Glue 临时目录的工作方式与 AWS Lambda 类似。所有的临时文件都可以从此目录读写。

/tmp/

tmp是临时文件夹的位置，可以在jar属性文件中指定为可以读取/写入文件的位置。

由于 AWS Glue 在类 Unix 平台上工作，因此读取和写入命令应为 Unix 类型。