【问题标题】:Azure Event Hub: What type of data it can ingestAzure 事件中心:它可以摄取什么类型的数据
【发布时间】:2016-04-13 13:44:46
【问题描述】:
  1. Azure 流分析只能接受 JSON 文件是真的吗?
  2. 您能否将管道分隔或其他文件格式摄取/发送到 Event Hub 并从流分析中使用它们?

【问题讨论】:

  • 你想做什么?您可以通过自定义网关支持任何格式(这就是添加 MQTT 支持的方式)。 ASA 将接收 已解析 数据,因此它并不真正关心格式
  • 我们需要每 15 秒摄取 1 个文件。文件格式是自定义的,它既不是 JSON,也不是 CSV 或 Avro。它将需要自定义解析。由于事件中心的可扩展性,我们认为事件中心将对此任务有用。你会推荐什么?
  • 可扩展性意味着使用最少的解析。否则 EventHub 将结束 parsing 而不是 ingesting。一种选择是简单地更改客户端的格式(文件有多大以及它们是如何创建的?)。另一种选择是创建一个站点以充当网关并接收文件,将其转换然后将其传递给事件中心。这样做的好处是您可以批量处理多个此类文件,最大为 256KB。
  • 在客户端更改文件格式不是我们的选择。
  • Azure Functions 可以由 Blob 事件触发,因此它们可以在您上传文件时自动运行。您可以在其中解析文件,如果您确实需要事件处理,请将单个事件发布到事件中心和 ASA。 (可能需要将所有内容转换为博客文章,叹息)

标签: azure azure-eventhub azure-stream-analytics


【解决方案1】:

流分析有一个标记为序列化的下拉菜单(在管理器或旧门户网站 manage.windowsazure.com 中),您也可以选择 CSV 或 Avro。

【讨论】:

  • 该下拉菜单来自流分析,而不是事件中心
【解决方案2】:

文件内容是什么?也许,将文件放入 Azure 存储并将指向它的链接发送到事件中心/服务总线队列是否有意义?或者只是将文件放入存储并使用流分析使用它们。

【讨论】:

    猜你喜欢
    • 2019-01-15
    • 1970-01-01
    • 2018-03-03
    • 2022-12-17
    • 1970-01-01
    • 2022-11-04
    • 2020-09-18
    • 2023-02-16
    • 1970-01-01
    相关资源
    最近更新 更多