选择正确的 Azure 技术来存储和处理天气预报数据

Question

我想从 NCEP GFS（天气预报数据提供商）下载 FTP 文件并从中提取一些参数。过滤后（我只需要温度和降水量），我每天大约有 1 GB 的 GRIB 格式（二进制）数据。因为这些文件包含“网格数据”，SQL Azure 不是（恕我直言）存储此类文件的最佳解决方案（10 年的数据导致存储 3 TB）。 最后，这些文件应该由 Azure ML 和 Power BI 使用。报告涉及一些“地理空间连接”，以按国家、州等聚合网格数据。

您对如何选择合适的技术有任何想法吗？ 当我阅读 Azure 文档时，我有点迷茫，因为数据存储太多，很难理解它们各自的优缺点：Azure Data Lake、HDInsight 等。

提前感谢您的帮助。

最好的问候

Answer 1

在数据存储方面，您可以将数据存储在 azure blob 存储中。可能是处理这些文件的函数应用程序。这是基于我对网格数据的一点了解。