【问题标题】:Pig - How to run a script in silent mode?Pig - 如何在静默模式下运行脚本?
【发布时间】:2013-07-16 07:57:55
【问题描述】:

我有这个 java 程序,它在 MapReduce 模式下执行一个 pig 脚本。代码如下:

import java.io.IOException;
import java.util.Properties;
import org.apache.pig.ExecType;
import org.apache.pig.PigServer;
import org.apache.pig.backend.executionengine.ExecException;


public class pigCV {


public static void main(String args[]){

PigServer pigServer;
try {

    Properties props = new Properties();
    props.setProperty("fs.default.name", "hdfs://hdfs://localhost:8022");
    props.setProperty("mapred.job.tracker", "localhost:8021");

    pigServer = new PigServer(ExecType.MAPREDUCE, props);

    pigServer.registerScript("Desktop/text_v3.pig");

} 
catch (ExecException e) {   e.printStackTrace(); } 
catch (IOException e) { e.printStackTrace(); }

}


}

问题是输出真的很冗长。

所以我想知道是否可以在静默模式下运行脚本。

感谢您的帮助。

【问题讨论】:

    标签: java hadoop bigdata apache-pig


    【解决方案1】:

    我认为PigServer 不支持在静默模式下运行。但是,您可以编写 java 代码来拦截 stdin 和/或 stdout,然后编写代码来决定将哪些内容打印到屏幕以及忽略哪些内容或写入文件。在link 中有一个如何执行此操作的示例。

    【讨论】:

      最近更新 更多