Databricks 将结果截断为 1000 列

【问题标题】：Databricks truncating results to 1000 columnsDatabricks 将结果截断为 1000 列
【发布时间】：2021-06-23 03:46:04
【问题描述】：

我一直在尝试printSchema() 中的Dataframe Databricks。 Dataframe 有超过 1500 列，显然 Databricks 正在截断结果并仅显示 1000 个项目。 1000多行怎么输出？

【问题讨论】：

【解决方案1】：

这个限制不是行数，而是输出的大小——如果我没记错的话，是 64k。

Databricks 还会在创建数据框时显示其架构 - 单击保存数据框的变量名称旁边的图标（它仍应限制为最大输出大小 - 我能够看到带有 up 的表架构到 1900 列）：

如果您的输出超过限制，那么我会想象将架构输出到文件中，类似这样，然后用一些编辑器打开文件：

v = df._jdf.schema().treeString()
with open("/dbfs/mnt/.....", "w") as file:
  file.write(v)

【讨论】：