【发布时间】：2017-05-02 15:09:13
【问题描述】：
示例问题
作为一个简单的例子，考虑如下定义的numpy数组arr：
import numpy as np
arr = np.array([[5, np.nan, np.nan, 7, 2],
[3, np.nan, 1, 8, np.nan],
[4, 9, 6, np.nan, np.nan]])
arr 在控制台输出中如下所示：
array([[ 5., nan, nan, 7., 2.],
[ 3., nan, 1., 8., nan],
[ 4., 9., 6., nan, nan]])
我现在想逐行“向前填充”数组arr 中的nan 值。我的意思是用左边最接近的有效值替换每个nan 值。期望的结果如下所示：
array([[ 5., 5., 5., 7., 2.],
[ 3., 3., 1., 8., 8.],
[ 4., 9., 6., 6., 6.]])
到目前为止尝试过
我尝试过使用 for 循环：
for row_idx in range(arr.shape[0]):
for col_idx in range(arr.shape[1]):
if np.isnan(arr[row_idx][col_idx]):
arr[row_idx][col_idx] = arr[row_idx][col_idx - 1]
我也尝试使用 pandas 数据框作为中间步骤（因为 pandas 数据框有一个非常简洁的内置方法用于前向填充）：
import pandas as pd
df = pd.DataFrame(arr)
df.fillna(method='ffill', axis=1, inplace=True)
arr = df.as_matrix()
上述两种策略都产生了预期的结果，但我一直在想：仅使用 numpy 矢量化操作的策略不是最有效的策略吗？
总结
还有另一种更有效的方法来“向前填充”numpy 数组中的nan 值吗？ （例如，通过使用 numpy 向量化操作）
更新：解决方案比较
到目前为止，我已尝试对所有解决方案进行计时。这是我的设置脚本：
import numba as nb
import numpy as np
import pandas as pd
def random_array():
choices = [1, 2, 3, 4, 5, 6, 7, 8, 9, np.nan]
out = np.random.choice(choices, size=(1000, 10))
return out
def loops_fill(arr):
out = arr.copy()
for row_idx in range(out.shape[0]):
for col_idx in range(1, out.shape[1]):
if np.isnan(out[row_idx, col_idx]):
out[row_idx, col_idx] = out[row_idx, col_idx - 1]
return out
@nb.jit
def numba_loops_fill(arr):
'''Numba decorator solution provided by shx2.'''
out = arr.copy()
for row_idx in range(out.shape[0]):
for col_idx in range(1, out.shape[1]):
if np.isnan(out[row_idx, col_idx]):
out[row_idx, col_idx] = out[row_idx, col_idx - 1]
return out
def pandas_fill(arr):
df = pd.DataFrame(arr)
df.fillna(method='ffill', axis=1, inplace=True)
out = df.as_matrix()
return out
def numpy_fill(arr):
'''Solution provided by Divakar.'''
mask = np.isnan(arr)
idx = np.where(~mask,np.arange(mask.shape[1]),0)
np.maximum.accumulate(idx,axis=1, out=idx)
out = arr[np.arange(idx.shape[0])[:,None], idx]
return out
随后是此控制台输入：
%timeit -n 1000 loops_fill(random_array())
%timeit -n 1000 numba_loops_fill(random_array())
%timeit -n 1000 pandas_fill(random_array())
%timeit -n 1000 numpy_fill(random_array())
导致此控制台输出：
1000 loops, best of 3: 9.64 ms per loop
1000 loops, best of 3: 377 µs per loop
1000 loops, best of 3: 455 µs per loop
1000 loops, best of 3: 351 µs per loop
【问题讨论】：
-
如果一行中的第一个元素是
nan会发生什么？ -
@TadhgMcDonald-Jensen 在这种情况下，pandas 保持
NaN不变。我会假设 OP 需要相同的行为以保持一致性。 -
啊，好问题。在我的用例中，输入数组的第一列不应该包含任何
nan值。因此，当代码（在第一列中遇到nan时）引发异常或将nan留在原处时，我可以接受。 -
顺便说一句，甚至不需要打电话给
as_matrix()：原来的arr被改变了。
标签： python arrays performance pandas numpy