AWS 粘合作业 (Pyspark) 到 AWS 粘合数据目录

Question

我们知道， 从 pyspark 脚本（aws 粘合作业）写入 AWS 数据目录的过程是写入 s3 存储桶（eg.csv），使用爬虫并调度它。

还有其他写入 aws 胶水数据目录的方法吗？ 我正在寻找一种直接的方法来做到这一点。例如。写入为 hudi 表并同步到 aws 胶水数据目录。

Answer 1

您可以手动指定表格。爬虫只发现模式。如果您手动设置架构，您应该能够在运行 AWS Glue 作业时读取您的数据。