Numpy 数组，数据必须是一维的答案

【问题标题】：Numpy Array, Data must be 1-dimensionalNumpy 数组，数据必须是一维的
【发布时间】：2017-12-20 03:19:33
【问题描述】：

我试图在 Python 中重现 MatLab 代码，但遇到了 MatLab 矩阵。 MatLab 中的代码块如下：

for i = 1:Np
    y = returns(:,i);
    sgn = modified_sign(y); 
    X = [ones(Tp,1) sgn.*log(prices(:,i).*volumes(:,i))];

如果没有得到“数据必须是 1 维错误”，我很难创建“X”。下面是我的尝试之一，许多人试图重现这部分代码：

lam = np.empty([Tp,Np]) * np.nan
for i in range(0,Np):
    y=returns.iloc[:,i]
    sgn = modified_sign(y)
    #X = np.array([[np.ones([Tp,1]),np.multiply(np.multiply(sgn,np.log(prices.iloc[:,i])),volumes.iloc[:,i])]])
    X = np.concatenate([np.ones([Tp,1]),np.column_stack(np.array([sgn*np.log(prices.iloc[:,i])*volumes[:,i]]))],axis=1)

Tp 和 Np 是价格序列的长度和宽度

crsp['PRC'].to_frame().shape = (9455,1)
Tp, Np = crsp['PRC'].to_frame().shape

Tr 和 Nr 是返回序列的长度和宽度

crsp['RET'].to_frame().shape = (9455,1)
Tr, Nr = crsp['RET'].to_frame().shape

tv和nv是卷系列的长度和宽度

crsp['VOL'].to_frame().shape = (9455,1)
Tv, Nv = crsp['VOL'].to_frame().shape

个数数组：

np.ones([Tp,1])

应该是 (9455,1)

样本量数据：

    DATE    VOLAVG
1979-12-04  8880.9912591051
1979-12-05  8867.545284586622
1979-12-06  8872.264687564875
1979-12-07  8876.922134551494
1979-12-10  8688.765365448506
1979-12-11  8695.279567657451
1979-12-12  8688.865033222592
1979-12-13  8684.095435684647
1979-12-14  8684.534550736667
1979-12-17  8879.694444444445

价格数据示例

    DATE    AVGPRC
1979-12-04  25.723484200567693
1979-12-05  25.839463450495863
1979-12-06  26.001899852224145
1979-12-07  25.917628864251874
1979-12-10  26.501898917349788
1979-12-11  26.448652367425804
1979-12-12  26.475906537182407
1979-12-13  26.519610746585908
1979-12-14  26.788873713159944
1979-12-17  26.38583047822484

样本返回数据

    DATE    RET
1979-12-04  0.008092780873338423
1979-12-05  0.004498557619416754
1979-12-06  0.006266692192175238
1979-12-07  -0.0032462182943131523
1979-12-10  0.022292999386413825
1979-12-11  -0.002011180868938034
1979-12-12  0.001029925340138238
1979-12-13  0.0016493553247958206
1979-12-14  0.010102153877941776
1979-12-17  -0.015159499602784175

我最终想要实现的是一个 (9455,2) 数组，其中 X.iloc[:,0]=1 和 X.iloc[:,2]=log(price)*volume 对于每一行。

我在线参考了 MatLab 到 Numpy 文档 (https://docs.scipy.org/doc/numpy-dev/user/numpy-for-matlab-users.html) 并查看了其他各种 StackOverflow 帖子，但均无济于事。

对于上下文，modified_sign 是一个外部函数，prices 是一个 DataFrame 切片，returns 也是如此。 Np 是价格 DataFrame 的宽度（想想 df.shape[1]），Tp 是 df.shape[0]。这实质上是创建一列 1s 和 log(price)*volume 以用于每个系列收益的回归，其中每个 df 是 (TxN)，其中 T 是日期，N 是证券。非常感谢您提供的任何指导。

【问题讨论】：

由于缺少一些变量/函数并且我们无法重现该问题，您能否在调用 np.concatenate 之前将其参数的形状打印出来？
更好：添加一些“玩具”数据，将您的 Python 代码转换为 minimal reproducible example。
按要求添加玩具数据
请记住，MATLAB 矩阵是 2d 或更高的。 numpy 数组可以是 1d。 numpy 有一个始终为 2d 的 np.matrix 类，这可以使从 MATLAB 的转换更容易。但从长远来看，最好使用常规的np.array。
谢谢我之前尝试使用矩阵函数无济于事。我感谢您的帮助。我不断收到“异常：数据必须是一维”错误

标签： python matlab pandas numpy

【解决方案1】：

问题是 numpy 可以有一维数组（向量），而 MATLAB 不能。因此，当您创建 np.ones([Tp,1]) 数组时，它会创建一个二维数组，其中一维的大小为 1。在 MATLAB 中，这被视为“向量”，但在 numpy 中则不是。

所以你需要做的是给np.ones一个单一的值。这将产生一个向量（与 MATLAB 中它将产生一个二维方阵不同）。同样的规则适用于np.zeros 和任何其他将维度作为输入的函数。

所以这应该有效：

X = np.column_stack([np.ones(Tp), sgn*np.log(prices.iloc[:,1])*volumes.iloc[:,1]])

话虽这么说，但这样做会失去使用 pandas 的大部分优势。使用日期作为索引将 DataFrame 组合成一个会更好，然后使用计算创建一个新列。假设日期是索引，这样的事情应该可以工作（如果日期是索引，则使用 set_index 将它们设为索引）：

data = pd.concat([returns, prices, volumes], axis=1)
data['sign'] = modified_sign(data['ret')
data['X0'] = 1
data['X1'] = data['sign']*np.log(data['AVGPRC'])*data['VOLAVG']

当然，您可以将 X0 和 X1 替换为信息更丰富的名称，我不确定您是否甚至需要使用这种方法的 X0，但这会让您获得更易于处理的数据结构。

此外，如果您的日期是字符串，您应该将它们转换为 pandas 日期。它们比字符串更好用。

【讨论】：