pig@hadoop：使用多核处理没有 hdfs 的本地文件

Question

如果我在本地模式下运行 pig@hadoop（因为我不想使用 hdfs），那么它会以单线程/单进程模式处理我的脚本。如果我在伪模式下设置 hadoop（复制=1 的 hdfs），那么 pig@hadoop 不喜欢我的file:///...：

traj = LOAD 'file:///root/traj'
   USING org.apache.pig.piggybank.storage.CSVExcelStorage(
        ';', 'NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER'
   ) AS
   (
     a1:chararray,
     a2:long,
     a3:long,
     a4:float,
     a5:float,
     a6:float,
     a7:chararray,
     a8:float,
     a9:chararray
   );

c = FOREACH (GROUP traj ALL) GENERATE COUNT(traj);
dump c;

有没有办法告诉 pig@hadoop 以多核模式处理文件而不将文件放入 hdfs 中？

Answer 1

本地模式 - 要在本地模式下运行 Pig，您需要访问单台机器；所有文件都使用本地主机和文件系统安装和运行。使用 -x 标志指定本地模式（pig -x local）。

Mapreduce 模式 - 要在 mapreduce 模式下运行 Pig，您需要访问 Hadoop 集群和 HDFS 安装。 Mapreduce模式是默认模式；您可以但不需要使用 -x 标志（pig OR pig -x mapreduce）指定它。

来源：http://pig.apache.org/docs/r0.9.1/start.html#execution-modes

如果你想在本地模式下运行它，你应该使用命令$ pig -x local 将 pig 切换到本地模式。默认情况下 pig 在 MapReduce 模式下运行并从 HDFS 读取数据。

要在本地模式下运行 Pig，您只需要访问一台机器。为简单起见，将文件复制到当前工作目录（您可能希望创建一个临时目录并移至该目录）在您的 pig 脚本中提供该位置。