按行对 Pandas 列选择执行 scipy.stats 测试时出现 ValueError答案

【问题标题】：ValueError When Performing scipy.stats test on Pandas Column Selection by Row按行对 Pandas 列选择执行 scipy.stats 测试时出现 ValueError
【发布时间】：2017-03-16 23:57:27
【问题描述】：

目标是在 pandas 列中创建一个新列，用于存储 KS D 统计量 df['ks'] 的值。 KS 统计信息是在该数据框中的两组列之间生成的，grp1 和 grp2：

# sample dataframe
import pandas as pd
import numpy as np

dic = {'gene': ['x','y','z','n'],
        'cell_a': [1, 5, 8,9],
        'cell_b': [8, 5, 4,9],
        'cell_c': [8, 6, 1,1],
        'cell_d': [1, 2, 7,1],
        'cell_e': [5, 7, 9,1],
       }
df = pd.DataFrame(dic)
df.set_index('gene', inplace=True)
df['ks'] = np.nan

# sample groups
grp1 = ['cell_a','cell_b']
grp2 = ['cell_d','cell_e']

因此基因 x 的 D 统计量将是 stats.ks_2samp([1,5], [1,6])[0]，基因 y 将是 stats.ks_2samp([5,2], [1,7])[0]，等等。尝试如下：

# attempt 1 to fill in KS stat
for idx, row in df.iterrows():
    df.ix[idx, 'ks'] = stats.ks_2samp(df[grp1], df[grp2])[0]

但是，当我尝试填写 ks 系列时，我收到以下错误：

ValueError: object too deep for desired array

我的问题有两个部分：1）对象“对于数组来说太深”是什么意思，以及 2）我如何在不迭代的情况下完成同样的事情？

【问题讨论】：

将该行更改为 - df.loc[idx, 'ks'] = stats.ks_2samp(row[grp1], row[grp2])[0]，因为您是按行操作而不是整个 DF 对象本身。此外，最好将.loc 用于分配目的，因为通过.ix 访问将很快在即将发布的版本中被弃用。
对于阵列来说仍然太深。仍然不知道这意味着什么或如何解决它......

标签： python pandas numpy scipy

【解决方案1】：

循环中的 KS 计算出现“太深”错误，因为我需要为每个分布传递一个一维数组以进行测试：

for idx, row in df.iterrows():
    df.loc[idx, 'ks'] = stats.ks_2samp(df.loc[idx, grp1], (df.loc[idx, grp2]))[0]

我之前的尝试使用了二维数组。这就是导致它“太深”的原因

【讨论】：