Thrift、Avro 和 ProtoBuf 数据治理

Question

我们有一个将数据从主要交易系统流向其他下游（例如数据分析和机器学习团队）的用例。

其中一个要求是确保数据源可以控制谁可以读取哪一列，以及数据的潜在生命周期，以确保在源数据删除时（例如，如果用户删除了位于另一个域中的数据），该数据会被清除删除帐户，我们需要确保所有下游中的数据都被删除。

在考虑 Thrift、Avro 和 ProtoBuf 时，我们可以使用哪些通用框架来进行此类数据治理？这些协议是否支持围绕数据授权、生命周期进行此类数据治理的元数据？

Answer 1

让我说清楚：

protobuf 不是安全设备；对于使用正确工具的人来说，它与 xml 或 json 一样具有可读性，但有一个小问题是可能不确定如何解释某些值；

它与 JSON 或 XML 没有太大区别。它只是一种界面语言。当然，它有encoding，它有点不同并且更可定制，但它绝不会遇到安全问题。确保发送方和接收方之间的通道安全由您决定。