集成调试 pyspark 数据帧有时会输出到终端而不是调试控制台

Question

在调试 pyspark 程序时，我在加载数据帧 (ch) 后设置了一个断点。然后，使用调试控制台单命令行我执行以下操作：

ch.count()  
32489

计数正确显示在ch.count() 下。但是，如果我尝试显示数据框内容，我会得到以下信息：

ch.show()
None

即便如此，数据帧的输出确实正确显示在终端窗口中！因此，如果我单击查看终端窗口，我会看到 ch.show() 的输出。 我查看了其他看似相关的问题，但没有成功。例如，我尝试了以下但没有成功。

"console": "None"  

还有：

"console": "integratedTerminal"

还有：

"debugOptions": ["RedirectOutput"]

谢谢

Answer 1

df.show 在内部打印到 stdout 而不是 stderr，如果您想打印到 stderr，请使用 df.take 并根据需要自行打印。 None 是 df.show 方法返回的内容。