如何在 Julia 数据框中删除/删除空行和 NaN？

Question

我有一个包含 nothing、NaN 和 missing 的 df。要删除包含missing 的行，我可以使用dropmissing。有没有办法处理NaN和nothing？

样本df：

│ Row │ x       │ y    │
│     │ Union…? │ Char │
├─────┼─────────┼──────┤
│ 1   │ 1.0     │ 'a'  │
│ 2   │ missing │ 'b'  │
│ 3   │ 3.0     │ 'c'  │
│ 4   │         │ 'd'  │
│ 5   │ 5.0     │ 'e'  │
│ 6   │ NaN     │ 'f'  │

预期输出：

│ Row │ x   │ y    │
│     │ Any │ Char │
├─────┼─────┼──────┤
│ 1   │ 1.0 │ 'a'  │
│ 2   │ 3.0 │ 'c'  │
│ 3   │ 5.0 │ 'e'  │

到目前为止我尝试过的， 根据我对 Julia 的了解，我尝试了这个，

df.x = replace(df.x, NaN=>"something", missing=>"something", nothing=>"something")
print(df[df."x".!="something", :])

我的代码按预期工作。我觉得这是解决这个问题的无效方法。 有没有单独的方法来处理nothing和NaN？

Answer 1

你可以做例如这个：

julia> df = DataFrame(x=[1,missing,3,nothing,5,NaN], y='a':'f')
6×2 DataFrame
│ Row │ x       │ y    │
│     │ Union…? │ Char │
├─────┼─────────┼──────┤
│ 1   │ 1.0     │ 'a'  │
│ 2   │ missing │ 'b'  │
│ 3   │ 3.0     │ 'c'  │
│ 4   │         │ 'd'  │
│ 5   │ 5.0     │ 'e'  │
│ 6   │ NaN     │ 'f'  │

julia> filter(:x => x -> !any(f -> f(x), (ismissing, isnothing, isnan)), df)
3×2 DataFrame
│ Row │ x       │ y    │
│     │ Union…? │ Char │
├─────┼─────────┼──────┤
│ 1   │ 1.0     │ 'a'  │
│ 2   │ 3.0     │ 'c'  │
│ 3   │ 5.0     │ 'e'  │

注意这里检查的顺序很重要，因为isnan 应该在最后，否则对于missing 或nothing 值的检查将失败。

你也可以更直接地写成：

julia> filter(:x => x -> !(ismissing(x) || isnothing(x) || isnan(x)), df)
3×2 DataFrame
│ Row │ x       │ y    │
│     │ Union…? │ Char │
├─────┼─────────┼──────┤
│ 1   │ 1.0     │ 'a'  │
│ 2   │ 3.0     │ 'c'  │
│ 3   │ 5.0     │ 'e'  │

但我觉得any 的示例更具可扩展性（然后您可以存储谓词列表以检查变量）。

DataFrames.jl 中仅提供删除 missing 的函数的原因是，这通常被认为是有效但可取的，可在数据科学管道中删除值。

通常在 Julia 中，当您看到 nothing 或 NaN 时，您可能希望以不同于 missing 的方式处理它们，因为它们很可能表明数据或数据处理中存在一些错误（相反到missing，这表明数据没有被收集）。