【发布时间】:2016-04-13 13:44:46
【问题描述】:
- Azure 流分析只能接受 JSON 文件是真的吗?
- 您能否将管道分隔或其他文件格式摄取/发送到 Event Hub 并从流分析中使用它们?
【问题讨论】:
-
你想做什么?您可以通过自定义网关支持任何格式(这就是添加 MQTT 支持的方式)。 ASA 将接收 已解析 数据,因此它并不真正关心格式
-
我们需要每 15 秒摄取 1 个文件。文件格式是自定义的,它既不是 JSON,也不是 CSV 或 Avro。它将需要自定义解析。由于事件中心的可扩展性,我们认为事件中心将对此任务有用。你会推荐什么?
-
可扩展性意味着使用最少的解析。否则 EventHub 将结束 parsing 而不是 ingesting。一种选择是简单地更改客户端的格式(文件有多大以及它们是如何创建的?)。另一种选择是创建一个站点以充当网关并接收文件,将其转换然后将其传递给事件中心。这样做的好处是您可以批量处理多个此类文件,最大为 256KB。
-
在客户端更改文件格式不是我们的选择。
-
Azure Functions 可以由 Blob 事件触发,因此它们可以在您上传文件时自动运行。您可以在其中解析文件,如果您确实需要事件处理,请将单个事件发布到事件中心和 ASA。 (可能需要将所有内容转换为博客文章,叹息)
标签: azure azure-eventhub azure-stream-analytics