Spark SQL 传递变量 - Synapse（Spark 池）

【问题标题】：Spark SQL passing variables - Synapse (Spark pool)Spark SQL 传递变量 - Synapse（Spark 池）
【发布时间】：2021-08-20 00:45:15
【问题描述】：

我有以下 SparkSQL（Spark 池 - Spark 3.0）代码，我想将一个变量传递给它。我怎样才能做到这一点？我尝试了以下方法：

#cel 1 (Toggle parameter cell):
%%pyspark
stat = 'A'

#cel2:
select * from silver.employee_dim where Status= '$stat'

【问题讨论】：

标签： azure apache-spark parameters apache-spark-sql azure-synapse

【解决方案1】：

当您将单元格作为 PySpark 运行时，您可以像这样将变量传递给您的查询：

#cel 1 (Toggle parameter cell):
%%pyspark
stat = 'A' #define variable

#cel2:
%%pyspark
query = "select * from silver.employee_dim where Status='" + stat + "'"
spark.sql(query) #execute SQL

由于您正在执行 SELECT 语句，我假设您可能希望将结果加载到 DataFrame：

sqlDf = spark.sql(query)

sqlDf.head(5) #select first 5 rows

【讨论】：