如何使用 protobuf 存储数据集

Question

我需要紧凑地存储灵活的数据集并具有流式传输的能力。 数据集包含表格数据，每一行包含相同的类型。

什么更好： - 用重复的原始消息编写一个大的原始消息？ - 多个原始消息直接写入 steram（带有一些附加信息，关于内部原始格式）？ - 还是有更好的方法存在？

protobuf 是否支持流式传输？

Answer 1

您可能已经注意到，protobuf 主要是一个用于将数据序列化/反序列化为二进制形式的框架。如果您希望传输该数据，您当然可以以流式传输方式发送它——毕竟它只是字节。

您可以编写自己的网络协议，但您可能正在寻找类似gRPC 的东西（链接到 C# 教程 - 从您的标签中推断）。 gRPC 允许流式传输 - 您可以了解更多关于它的信息 here。快速报价：

服务器流式 RPC 服务器流式 RPC 类似于我们简单的 例如，除了服务器在之后发回响应流 获取客户端的请求消息。在发回所有的 响应，服务器的状态详细信息（状态代码和可选 状态消息）和可选的尾随元数据被发送回 在服务器端完成。客户端在完成所有操作后完成 服务器的响应。

客户端流式 RPC 客户端流式 RPC 也类似于我们的 简单的例子，除了客户端向 服务器而不是单个请求。服务器发回一个 响应，通常但不一定在收到所有 客户的请求，以及其状态详细信息和可选的尾随 元数据。

另外，如需简单示例，请访问this page。来自 gRPC 网站的示例：

public override async Task<RouteSummary> RecordRoute(Grpc.Core.IAsyncStreamReader<Point> requestStream,
    Grpc.Core.ServerCallContext context)
{
    int pointCount = 0;
    int featureCount = 0;
    int distance = 0;
    Point previous = null;
    var stopwatch = new Stopwatch();
    stopwatch.Start();

    while (await requestStream.MoveNext())
    {
        var point = requestStream.Current;
        pointCount++;
        if (CheckFeature(point).Exists())
        {
            featureCount++;
        }
        if (previous != null)
        {
            distance += (int) previous.GetDistance(point);
        }
        previous = point;
    }

    stopwatch.Stop();

    return new RouteSummary
    {
        PointCount = pointCount,
        FeatureCount = featureCount,
        Distance = distance,
        ElapsedTime = (int)(stopwatch.ElapsedMilliseconds / 1000)
    };
}

编辑

其中包含 gRPC 定义的示例 proto 文件。

syntax = "proto3";

message DataRow {
    // Your data row here
}

message SendDataResponse {
}

service DataAcceptor {
  // Send multiple rows in a streaming scenario
  rpc SendData (stream DataRow) returns (SendDataResponse) {}
}