从 Java 应用程序中执行 Pig

Question

是否可以在 Java 应用程序中运行 Apache Pig 作业，而无需派生外部进程？

Pig 和 Hadoop 似乎都是用 Java 编写的，但并不真正提供 Java API。与其依赖 shell 脚本，我更愿意在 Java Spring 应用程序中使用这些工具。

Answer 1

好像有Java API for Pig。

根据这个API，有一个PigRunner class。

这样，您可以通过创建专用的 Spring bean 轻松地将其添加到您的 Spring 应用程序中。

Answer 2

从我所看到的文档和示例方面来看，PigServer 类对您来说是明智的。他们在这里有使用它的例子：http://pig.apache.org/docs/r0.8.1/setup.html#Sample+Code

Answer 3

参见Spring Hadoop 项目及其Pig support。