我们可以使用循环在 pyspark 中执行查询吗

【问题标题】：Can we use loops to execute a query in pyspark我们可以使用循环在 pyspark 中执行查询吗
【发布时间】：2022-01-25 10:43:17
【问题描述】：

`Table_names=[EMP_ID,EMP_NAME,EMP_ADD,EMP_PHNO]
for i in Table_nams:
    spark.sql("select * from Employee where i is null")'

收到错误提示无法解析“i”

【问题讨论】：

标签： python sql pyspark error-handling databricks

【解决方案1】：

您需要先生成 sql 查询，然后再将其传递给 spark.sql

您还需要传递' 中的值，因为这些值是字符串类型

Table_names=['EMP_ID','EMP_NAME','EMP_ADD','EMP_PHNO']
for i in Table_names:
    sql_query =  "select * from Employee where " +i+" is null"
    spark.sql(sql_query)

【讨论】：