【问题标题】：pyspark code failing with error An error occurred while calling z:com.amazonaws.services.glue.DynamicFrame.apply. list#5451 []pyspark 代码失败并出现错误调用 z:com.amazonaws.services.glue.DynamicFrame.apply 时出错。列表#5451 []
【发布时间】：2022-01-06 16:54:55
【问题描述】：
我正在使用 SQL 转换编写 aws 粘合作业（pyspark 代码）。我收到 scala.MatchError: list#5252 [] 错误（属于 org.apache.spark.sql.catalyst.expressions.ListQuery 类。当我从查询中排除该表时，有一个像 tbl1 这样的表，它工作正常，但作为使用 tbl1 后立即抛出错误。Source 和 Target 都是 Redshift。
如果有人解释这个错误的含义会有所帮助。
提前致谢。
如果需要任何描述，请告诉我
【问题讨论】：
标签：
amazon-web-services
pyspark
apache-spark-sql
amazon-redshift
aws-glue-spark
【解决方案1】：
scala.MatchError: list#5252 [] - 此错误是指连接两个或多个表时出现的问题，其中一个列无法匹配另一个表的模式/值。
要解决此问题，请检查 SQL 查询并更新连接。
在 SQL 转换中 (AWS GLUE)
在 AWS Glue 中可以执行带有 NOT IN 的查询而不会出现任何问题。如果 (NOT IN) 失败，请尝试分段运行查询。