【问题标题】:How to connect Web app to Azure Data Lake如何将 Web 应用程序连接到 Azure Data Lake
【发布时间】:2020-08-20 10:06:36
【问题描述】:

我正在尝试了解 Azure 堆栈,但仍然学到了很多东西。但我无法理解 Azure Data Lake(gen2 存储帐户)背后的逻辑。我想将来自网站(用 PHP 创建)的表单保存为 Data Lake 中的 json 文件。

我已准备好上传 JSON 文件,但如何将其上传到 Azure Data Lake?还是我必须采取其他路线,例如数据工厂?我试图了解有人如何将外部 Web 应用程序(用 PHP 创建)连接到数据湖存储。

如果收集一天的所有表单数据然后将其推送到数据湖而不是单独推送每个表单会更好。

我想完成这个:

Webpage --> Form posted --> Data Lake (Form data as Json file)
                        --> Local MySQL database (working already)

【问题讨论】:

    标签: azure azure-data-factory azure-data-lake


    【解决方案1】:

    如果有适用于您的语言的 Data Lake Store SDK,您可以简单地使用它直接从您的代码中编写文件。有关 C# 的示例,请参阅 here

    由于目前没有用于 PHP 的 SDK,替代方法是使用 Blob Storage SDK for PHP。由于它仍然是同一个存储,您可以使用 blob 接口上传文件,并仍然使用 Data Lake 接口访问它。

    【讨论】:

    • 谢谢,知道这是将每个表单数据存储为单独的 JSON 文件的常用方法,还是我捆绑一天的表单并每晚将其推送到数据湖?
    • 当然,您可以在其中存储单个文件。问题是你以后真的想用它们做什么?如果您想单独查询它们,也许像 Cosmos DB 这样的文档存储可能更有意义?
    • 我有来自不同来源(网络应用程序)的多条传入消息。我想将数据湖用作所有表单的存储,并在将其发送到一个 SQL 服务器之前进行一些转换。因此,所有不同的表单和字段都可以转换为一个最终的 SQL 数据库。从未使用过 Cosmos DB,我会研究一下。谢谢
    猜你喜欢
    • 2019-12-02
    • 2021-03-06
    • 1970-01-01
    • 2018-09-24
    • 1970-01-01
    • 2015-12-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多