如何自动化 Hive 查询答案

【问题标题】：How to automate Hive query如何自动化 Hive 查询
【发布时间】：2015-04-20 16:58:36
【问题描述】：

我创建了一个配置单元查询脚本，主要用于交叉销售项目的功能创建和评分。大多数查询都是执行数据清理、转换等的简单查询。我想自动化这个过程，以便我可以从 hive 表作为输入开始，并将最终结果输出到 Hbase 文件中。我的问题是：

最好的方法是什么？

我可以简单地创建filename.sql 或filename.hql 并使用hive -f filename.sql 从shell 运行它

hive 中是否有类似 PL for SQL 的东西？

【问题讨论】：

我们将 hive 中的脚本称为 hive 查询语言。您可以从命令行 hive -e 'command' 或 hive -f /pathtohql' 运行 hive 脚本。最后使用 cronjob 或 oozie coordinator 作业来安排它。

【解决方案1】：

您可以通过多种方式做到这一点。就像你也可以使用 Hive CLI 和它很容易做这样的工作。您可以在 Linux 中编写 shell 脚本或在 Windows 中编写 .bat。

在脚本中，您可以简单地按照以下条目进行操作。

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a';

或者如果你有文件：

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

确保您在环境中设置了 $HIVE_HOME。一旦你测试并工作正常，你就可以放入 cronjob 进行调度。

【讨论】：

【解决方案2】：

请务必注意，如果您使用其中任何一种技术，则每个查询都必须用分号分隔，即

hive -e 'select * from tableA limit 10;select * from tableB limit 10'

【讨论】：