如果懒惰地评估，如何检查 dask 数据框是否为空？

Question

我知道this question。但请检查下面的代码（最小工作示例）：

import dask.dataframe as dd
import pandas as pd

# intialise data of lists.
data = {'Name': ['Tom', 'nick', 'krish', 'jack'], 'Age': [20, 21, 19, 18]}

# Create DataFrame
df = pd.DataFrame(data)
dask_df = dd.from_pandas(df, npartitions=1)

categoric_df = dask_df.select_dtypes(include="category")

当我尝试打印 categoric_df 时，出现以下错误：

ValueError: No objects to concatenate

当我从 PyCharm 调试器中检查 categoric_df 时：

Unable to get repr for <class 'dask.dataframe.core.DataFrame'>

有了这些错误，我可以构建一个 try/except 块来检查数据框是否为空。但我不想使用这种方法，因为它不能保证一直工作并且 try/except 会减慢代码的速度。 当我尝试打印计算出的categoric_df 时，它看起来像这样：

>>>print(categoric_df.compute())
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3]

总结：在这里，如果我选择不存在的 dypes 并从中创建一个 dask.DataFrame，我会得到一个 dask.DataFrame，如果我使用 len() 函数，乍一看它并不为空。

>>>print(len(categoric_df))
4
>>>print(len(categoric_df.compute())
4
>>>print(categoric_df.compute().empty)
True

有没有办法在不计算的情况下检查categoric_df 是否为空？ （我希望它保持惰性评估。）

更新：print(len(categoric_df.columns)) 正在返回 0。这可用于确定数据框是否为空。但是 这可行吗？我不确定。

Answer 1

您似乎遇到了数据框无法正确打印的错误。如果您想在https://github.com/dask/dask/issues/new 提出错误报告，那将是报告此问题的正确位置。

这应该不会影响您想要进行的检查。查看.columns 看看是否有任何列似乎是合理的。数据框仍然有行的事实只是意味着仍然有一个索引。