在 Scalding 中将 Seq 转换为 Pipe

【问题标题】：Convert Seq to Pipe in Scalding在 Scalding 中将 Seq 转换为 Pipe
【发布时间】：2016-05-15 17:44:34
【问题描述】：

上下文：我正在读取一个文件，其中多个字段是一个 ID 列表。我需要将这些字段转换为 Pipe 以将它们与其他 Pipes 连接起来。

我尝试过的：

val otherPipe = pipe
     .project('fieldIwant)
     .map { p: Pipe => p.toString.split(",") } // converts pipe -> array
     .unique

【问题讨论】：

【解决方案1】：

您可以使用以下方法从集合中获取 TypedPipe：

TypedPipe.from(Seq(1, 2, 3, 4, 555, 3))

如果您需要退回到 FieldsAPI（已弃用），您可以使用

TypedPipe.from(Seq(1, 2, 3, 4, 555, 3)).toPipe('fieldName)

【讨论】：