我可以使用 aws-glue 将数据加载到 aerospike 中吗？

Question

我正在设计一个应用程序，它应该每 15 分钟从 S3 读取一个 txt 文件，解析由 | 分隔的数据并将这些数据加载到 3 个不同的 aws 区域的 aerospike 集群中。 文件大小范围为 0-32 GB，它可能包含的记录数在 5-1.3 亿之间。

我计划在每个 aws 区域部署一个自定义 Java 进程，该进程将从 S3 下载文件并使用多个线程加载到 aerospike。

我刚遇到aws 胶水。谁能告诉我是否可以使用 aws 胶将这么大的数据加载到 aerospike 中？或任何其他建议来设置高效和高性能的应用程序？

提前致谢！

Answer 1

AWS Glue 进行提取、转换，然后加载到 RedShift、EMR 或 Athena。您应该改为查看 AWS Data Pipeline，使用 ShellCommandActivity 通过提取和转换运行您的 s3 数据，并将转换后的数据写入 Aerospike。