Foundry 数据连接中的源“S3（通过 Hadoop）”和“S3（直接）”有什么区别？

Question

Foundry Data Connection 中可用的两个 S3 源选项有什么区别？

• S3（通过 Hadoop）
• S3（直接）

用于摄取 parquet 文件是首选吗？

Answer 1

通过 Hadoop 的 S3 是目前​​经过测试最好且最灵活的 S3 选项，但处理大量文件的性能很差。

S3 Direct 是使用 Amazon S3 开发工具包直接从 S3 读取的，其性能明显优于 Hadoop，因为它需要 O(1) 而不是 O(number of files) 网络调用。

我们建议尽可能使用 S3-direct 源。