如何将压缩数据发送到 Azure 流分析？答案

【问题标题】：How to send compacted data to Azure Stream Analytics?如何将压缩数据发送到 Azure 流分析？
【发布时间】：2016-08-19 18:10:25
【问题描述】：

我有一个系统从设备收集数据并将 JSON 格式的数据发送到 Azure Eventhub。有一个 Azure 流分析流，它从 eventthub 获取数据并将其输出到 PowerBI。它每秒发送一次数据。有时，互联网连接丢失，系统不断从设备收集数据。当 Internet 连接恢复时，它会将所有收集到的数据发送到 eventthub。我希望它在发送前压缩或压缩数据。

但 Stream 解析输入格式只有 JSON、CVS 或 Avro。压缩的 Json 会自动解压缩吗？或者我们无法将压缩数据发送到 Azure 流分析？

【问题讨论】：

标签： azure-eventhub azure-stream-analytics

【解决方案1】：

Avro 是压缩的......有点。有效载荷是用 Deflate 压缩的。但是，消息模式包含在未压缩的形式中。在某些情况下，单个事件的架构可能大于有效负载。您随每条消息发送的相同类型的事件越多，您从 Avro 中看到的好处就越多。

如果您要发送非常少量的事件并且关心有效负载大小，您可能更适合滚动自己的压缩并使用 Azure 函数或 WebJob 之类的东西从“原始”事件中心提取，然后解压缩提交到流分析可以侦听的“解压缩”事件中心。

【讨论】：

【解决方案2】：

当您必须发送一堆行时，Avro 是一种压缩 (json) 数据的好方法。

问候，

菲利普

【讨论】：

【解决方案3】：

Azure 流分析不支持解压缩输入数据。

谢谢，卡蒂艾斯瓦

【讨论】：

不正确。至少，不再是了:)