如何从java中的一个文件中读取多个protobuf？

Question

我有一个文件“test.txt”，其中包含每行用testMessage.writeDelimitedTo(the-DataOutputStream-that uses a new FileOutputStream pointing to the file) 编写的多个protobuf“TestMessage”消息。如何读取 test.txt 的每一行并取回每行的 protobuf？

在包含字符串的文件上使用缓冲读取器，我会这样做：

String strLine; // What is the alternative to String?
    while ((strLine = br.readLine()) != null)   {
         System.out.println (strLine);
         TestMessage test = new TestMessage.builder();
         test.parseDelimitedFrom(strLine);
    }

如果我要执行此方法，我应该将类型设置为什么而不是“String”？这可能吗？

或者我可以不这样做并且每个消息都必须写入单独的文件吗？

注意：假设 TestMessage 是唯一的消息。

Answer 1

为什么要每行写每条消息？我认为您可以只使用 writeDelimitedTo，然后消息可以一一写入。而且阅读非常简单。

User user = User.newBuilder().setUid(1).build();
User user2 = User.newBuilder().setUid(2).build();
try {
    FileOutputStream output = new FileOutputStream(path);
    user.writeDelimitedTo(output);
    user.writeDelimitedTo(output);
    user2.writeDelimitedTo(output);
    output.close();
} catch (Exception e) {
    System.out.print("Write error!");
}

try {
    FileInputStream input = new FileInputStream(path);
    while (true) {
        User user_ = User.parseDelimitedFrom(input);
        if (user_ == null)
            break;
        System.out.println("read from file: \n" + user_);
    }
} catch (Exception e) {
    System.out.println("Read error!");
}

Answer 2

Protobuf 与行分隔的文本文件没有太多共同之处。 Protobuf 用于将对象分解为字节。这个过程称为序列化。 Protobuf 尤其注重兼容性和小尺寸。

您遇到的问题是 protobuf 不存储有关每个对象由多少字节组成或每个对象是什么类型的信息。因此，如果您将许多 protobuf 序列化对象存储到一个文件中，则无法在不包含有关要遵循的对象类型以及该对象由多少字节组成的数据的情况下提取它们。

此数据称为标头。

public void serializeProtobufObject(OutputStream stream, Object obj){
    byte[] bytes = getProtobufBytes(obj);
    int id = getObjectID(obj);

    //write protobuf header info
    writeInt(stream,id);
    writeInt(stream,bytes.length);

    //write protobuf payload
    stream.write(bytes,0,bytes.length);
}

//called repeatedly for many objects in the same stream.
public Object deserializeProtobufObject(InputStream stream){
    //read protobuf header
    int id = readInt(stream);
    int length = readInt(stream);

    //use header to interpret payload
    return readObject(id, length, stream);
}

一个整数 ID 会告诉你后面是什么类型的对象。整数长度告诉您对象由多少字节组成。反序列化时，您将使用这两条信息来提取 protobuf 对象。如果同一流中有许多 protobuf 对象，您将重复执行此操作。

这里的一种更好的方法是为这两个字段创建一个 Protobuf 对象，然后像这样将对象序列化到您的流中：

ProtobufHeader for Foo
[Foo]
ProtobufHeader for Bar
[Bar]

这将允许您在未来扩展您的 protobuf 标头。