在 Jupyter 中将 PySpark 数据帧打印为格式化表

Question

我有一个 PySpark 数据框 (df)，我想在我的 Jupyter 笔记本中将其打印为格式良好的表格。

根据post，我认为以下代码可以工作：

import pandas as pd
from IPython.display import display, HTML

pandas_df = df.toPandas()

display(HTML(pandas_df.to_html()))

很遗憾，这不起作用。我收到以下错误：

ERROR - failed to write data to stream: <__main__.UnicodeDecodingStringIO object at 0x7f75c7a8e750>

有人知道如何解决这个问题吗？

谢谢！

Answer 1

尝试以下方法：

def printDF(inputDF):
    newDF = inputDF.toPandas()
    from IPython.display import display, HTML
    return HTML(newDF.to_html())

您还可以移动 import 语句，使其全局导入，而不是每次调用函数时都导入它。希望这会有所帮助。