天蓝色的批处理

Question

我们计划每天进行批处理。我们每天生成 1 GB 的 CSV 文件，并将它们手动放入 Azure Data Lake Store。我已阅读有关批处理的 Microsoft Azure 文档，并决定使用 Spark 进行批处理。我的问题是，在我们使用 RDD/DF 传输数据之后，下一步是什么？我们如何可视化数据？由于这个过程应该每天运行，一旦使用 Spark 完成数据转换，我们是否需要将数据推送到任何类型的数据存储，如 hive hdfs 或 cosmos，然后才能对其进行可视化？

Answer 1

在 Azure 上有多种选择。这实际上取决于您的要求（例如用户数量、所需的可视化等）。示例：

• 在 Azure Databricks 上运行 Spark，您可以使用 Notebook 功能来可视化您的数据
• 将 HDInsight 与 Jupyter 或 Zeppelin 笔记本结合使用
• 在 Azure Databricks 上定义 Spark 表并使用 Power BI 将其可视化
• 使用 Azure 数据工厂 V2 将数据加载到 Azure SQL DB 或 Azure SQL 数据仓库，并使用 Power BI 将其可视化。
• 对于时序数据，您可以通过 Spark 将数据推送到 Azure EventHubs（请参阅下面的 documentation 中带有 EventHubs Sink 的示例笔记本）并通过 Azure 时序见解使用它。如果你有一个 EventData-Stream，这也可以在未来取代你的面向批处理的架构。 Azure 时序见解将 Parquet 文件用作长期存储（请参阅以下link）。对于 Spark，还可以查看 Time Series Package，它为 spark 添加了一些时间序列功能。