当我使用内联 sql 魔术时，jupyter notebook pyspark sparkmagic 错误答案

【问题标题】：jupyter notebook pyspark sparkmagic error when I use inline sql magic当我使用内联 sql 魔术时，jupyter notebook pyspark sparkmagic 错误
【发布时间】：2019-10-24 14:29:20
【问题描述】：

我已经在 jupyter notebook 中成功配置了 PySpark 内核，我还安装了 SparkMagic。当我尝试使用以下命令时：

%%sql
SELECT DepDelay, ArrDelay FROM flightData

它开始工作，突然 Spark 停止抛出以下错误：

遇到错误：来自无效的状态代码“400” http://localhost:8998/sessions/0/statements/4 带有错误有效负载： {"msg":"要求失败：会话未激活。"}

您可以在此处找到完整的日志文件以下载并查看。 https://drive.google.com/open?id=1lvYqQBUCiIFp4lz3aVnzMgBNd9fzqJiz

感谢您的帮助。非常感谢提前

【问题讨论】：

在运行此行之前，您确定连接已建立，如果没有尝试 spark.applicationID
其他一切正常，例如：下一行，所以我猜应用程序正在运行。 data.createOrReplaceTempView("flightData") spark.sql("SELECT DayOfWeek, AVG(ArrDelay) AS AvgDelay FROM flightData GROUP BY DayOfWeek ORDER BY DayOfWeek").show()

标签： python apache-spark pyspark jupyter-notebook livy

【解决方案1】：

像这样在一行中尝试

%sql SELECTDepDelay, ArrDelay FROM flightData

【讨论】：

这确实有效，但是，我在数据框中加载了较少数量的行并且命令“%%sql”有效，所以我猜它与我的电脑资源有关，是否有任何配置能做到吗？