使用大数据运行机器学习算法时使用 Blob 是好是坏？

Question

我知道我可以将我的数据文件上传到 azure ml（作为新数据集），或者我可以使用 Blob（并在 ML 实验中读取数据）。我想知道在训练机器学习模型和创建与预测相关的 ML 解决方案时是否特别推荐其中之一。

我使用 Azure 的目标是根据各种功能对用户进行集群。我有一个大数据集（~ 50GB）。不知道你有什么建议。

感谢您的帮助！

Answer 1

如Azure Machine Learning Frequently Asked Questions 所述：“对于大于几 GB 的数据集，您应该将数据上传到 Azure 存储或 Azure SQL 数据库或使用 HDInsight，而不是直接从本地文件上传。”

另外请注意机器学习工作室中模块的最大数据集大小。这些限制作为上面链接的同一常见问题解答的一部分列出。