【问题标题】:Pandas None values vs Empty dataframe熊猫无值与空数据框
【发布时间】:2021-06-27 09:46:55
【问题描述】:

对于 pandas 数据框中没有数据,我有两个查询结果不同。

第一个查询:

with self.connection as conn:
            query = f"""SELECT current_client_name, client_phone_number, profile, effective_date, effective_time, 
                                          client_details.telegram_id, telegram_reference
                                          FROM `clients` JOIN `client_details` 
                                         ON clients.telegram_id=client_details.telegram_id 
                                         WHERE `status` = \'{status}\' order by effective_date"""
            df_result = pd.read_sql_query(query, conn)
            return df_result

在没有找到记录的结果中,我看到了空数据框:

Empty DataFrame
Columns: [current_client_name, client_phone_number, profile, effective_date, effective_time, telegram_id, telegram_reference]
Index: []

并且可以在下一个条件下捕获空数据帧:

if df.empty is True:

第二次查询

with self.connection as conn:
            query = f"SELECT MAX(effective_date), effective_time FROM `client_details` WHERE `telegram_id` = {telegram_id} " \
                    f"and (`status` = \'WAIT\' or `status`= \'APPROVED\')"
            df_result = pd.read_sql_query(query, conn)
            return df_result

由于某些原因,此查询返回给我的不是空数据框,而是列中没有的数据框

df MAX(effective_date) effective_time
0                None           None

下一个代码无法处理此结果,因为由于某些原因返回的不是空数据帧!

if df.empty is True:

有人知道它为什么会发生:为什么在某些情况下返回空数据框以及为什么在列中返回 None 类型的数据框?如何避免或处理这种情况?

谢谢

【问题讨论】:

    标签: pandas dataframe nonetype


    【解决方案1】:

    在第一种情况下,您的查询不会返回任何结果,因此您的 df 中没有条目。

    在第二种情况下,您的查询返回一个结果,但这些字段在您的 SQL 数据库中是空的,因此您有一个非空的 DataFrame,其中包含 None 值。

    取决于您是否只想要包含所有非空值的行(例如,您的示例中的两列都必须为非空值),或者某些空值是否可以(例如,其中一列是空值,而另一列是非空值) -Null),您可以删除包含这些 None 值的行:

    删除包含任何 None 值的行:

    df = df.dropna(how = 'any')
    

    删除仅包含 None 值的行:

    df = df.dropna(how = 'all')
    

    那么检查 if df.empty 应该是 True。

    【讨论】:

    • 好的,你处理的方法很好。由于使用聚合最大函数,数据返回第二次查询的结果。使用聚合函数时是否可以得到NO结果?
    • 我假设您可以使用 WHERE 或 HAVING 语句修改您的 SQL 查询以仅包含非空值(根据我的理解,COALESCE 仍会返回值,因此不太有效,但我可能会错误)。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-10-18
    • 2016-03-22
    • 2018-10-24
    • 2018-05-08
    • 2022-07-22
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多