BigQuery 取代了我的大部分 Spark 工作，我错过了什么吗？

Question

多年来，我一直在使用本地集群开发 Spark 作业，我们的团队最近迁移到了 Google Cloud Platform，让我们能够利用 BigQuery 等的强大功能。

问题是，我现在经常发现自己在 SQL 中编写处理步骤的次数比在 PySpark 中要多，因为它是：

• 更容易推理（不那么冗长）
• 更易于维护（SQL 与 scala/python 代码）
• 如果需要，您可以在 GUI 上轻松运行它
• 快速，无需真正考虑分区、缓存等...

最后，我只在有无法使用 SQL 表达的事情时才使用 Spark。

要清楚，我的工作流程通常是这样的：

• 预处理（以前在 Spark 中，现在在 SQL 中）
• 特征工程（以前在 Spark 中，现在主要在 SQL 中）
• 机器学习模型和预测 (Spark ML)

我错过了什么吗？ 以这种方式使用 BigQuery 而不是 Spark 有什么缺点吗？

谢谢

Answer 1

我看到的一个缺点是 Hadoop 集群创建和完成作业所需的额外时间。通过向 BigQuery 发出直接请求，可以减少额外的时间。

如果您的任务需要并行处理，我建议使用 Spark，但如果您的应用主要用于访问 BQ，您可能需要使用 BQ 客户端库并分离当前任务：

• BigQuery Client Libraries。它们经过优化以连接到 BQ。这里是a QuickStart，您可以使用不同的编程语言，如 python 或 java 等。

• Spark 作业。如果您仍然需要在 Spark 中执行转换并需要从 BQ 读取数据，您可以使用the Dataproc-BQ connector。虽然此连接器默认安装在 Dataproc 中，但您可以将其安装在本地，以便继续使用 BQ 数据运行 SparkML 作业。为了以防万一，您可能需要考虑使用一些 GCP 服务，例如 AutoML、BQ ML、AI Platform Notebooks 等，它们是机器学习和 AI 的专门服务。