如何使用 AWS 数据管道并行运行多个 Hive 活动？答案

【问题标题】：How to run multiple Hive activities in parallel using AWS data pipeline?如何使用 AWS 数据管道并行运行多个 Hive 活动？
【发布时间】：2017-05-04 05:45:44
【问题描述】：

我们希望使用 AWS 数据管道来自动化数据摄取过程。在我们的摄取过程中，我们主要将 CSV 文件复制到 S3 存储桶中，并对 100 多个不同的表运行 Hive 查询。

我们希望创建一个能够处理所有 100 个表的管道。

我想知道我们是否可以并行运行多个 Hive 活动和 S3 复制活动？如果管道活动串行或并行运行，我在 AWS 文档中找不到此信息。

【问题讨论】：

标签： amazon-web-services amazon-s3 amazon-emr amazon-data-pipeline

【解决方案1】：

您可以使用 HadoopActivity 从 Java 可执行文件中调用配置单元查询。 AWS Data Pipeline 支持并行执行 HadoopActivities。

文档：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-hadoopactivity.html

【讨论】：