将图像加载到猪

Question

我是使用 Apache Pig 分析图像的新手。 谁能建议我如何加载和处理图像？？

我知道文本文件，

alias = load '/user/Pavan/sample.txt' using PigStorage(" ");

如何处理图片？？

Answer 1

您有几个选择，这实际上取决于您要执行的操作类型：

1) 编写自定义加载函数

Pig can be used for images，但你需要写一个custom load function，这可能比你想做的要多。

2) 使用序列文件（我的建议）

您也可以convert the image to a Sequence File，Pig 有一个加载器文件available in the Piggybank JAR。还可以通过Twitter's Elephant Bird package 获得用于读取和写入序列文件的加载函数和存储函数。

Here's an article about using Sequence Files on Hadoop for astronomical categorization tasks.

3) 使用 MapReduce。

根据您的任务性质，使用原生 MapReduce 可能会更好。