基于 ByteArrayInputStream 在 Java 中创建 DataFrame

Question

我需要将以下转换为 Java 中的 Spark DataFrame，并根据 avro 模式保存结构。然后我会根据这个avro结构写到s3。

GenericRecord r = new GenericData.Record(inAvroSchema);
r.put("id", "1");
r.put("cnt", 111);

Schema enumTest =
        SchemaBuilder.enumeration("name1")
                .namespace("com.name")
                .symbols("s1", "s2");

GenericData.EnumSymbol symbol = new GenericData.EnumSymbol(enumTest, "s1");

r.put("type", symbol);

ByteArrayOutputStream bao = new ByteArrayOutputStream();
GenericDatumWriter<GenericRecord> w = new GenericDatumWriter<>(inAvroSchema);

Encoder e = EncoderFactory.get().jsonEncoder(inAvroSchema, bao);
w.write(r, e);
e.flush();

我可以基于 JSON 结构创建对象

  Object o = reader.read(null, DecoderFactory.get().jsonDecoder(inAvroSchema, new ByteArrayInputStream(bao.toByteArray())));

但也许有什么方法可以基于 ByteArrayInputStream(bao.toByteArray()) 创建 DataFrame？

谢谢

Answer 1

不，您必须使用数据源来读取 Avro 数据。 Spark 将 Avro 作为文件从文件系统读取是至关重要的，因为许多优化和功能都依赖于它（例如压缩和分区）。 您必须添加spark-avro（除非您高于2.4）。 请注意，您使用的 EnumType 在 Spark 的 Dataset 中将是 String

另见：Spark: Read an inputStream instead of File

或者，您可以考虑使用SparkContext#parallelize 部署一堆任务并通过DatumReader/DatumWriter 显式读取/写入文件。