熊猫版的 rbind答案

【问题标题】：Pandas version of rbind熊猫版的 rbind
【发布时间】：2013-02-05 23:07:36
【问题描述】：

在 R 中，您可以通过使用 rbind 将一个数据帧的列粘贴到另一个数据帧的底部来组合两个数据帧。在 pandas 中，你如何完成同样的事情？这似乎异常困难。

由于我不明白的原因，使用附加会导致可怕的混乱，包括 NaN 和其他事情。我只是想“绑定”两个看起来像这样的相同帧：

编辑：我以愚蠢的方式创建 DataFrame，这导致了问题。附加=rbind 到所有意图和目的。请参阅下面的答案。

        0         1       2        3          4          5        6                    7
0   ADN.L  20130220   437.4   442.37   436.5000   441.9000  2775364  2013-02-20 18:47:42
1   ADM.L  20130220  1279.0  1300.00  1272.0000  1285.0000   967730  2013-02-20 18:47:42
2   AGK.L  20130220  1717.0  1749.00  1709.0000  1739.0000   834534  2013-02-20 18:47:43
3  AMEC.L  20130220  1030.0  1040.00  1024.0000  1035.0000  1972517  2013-02-20 18:47:43
4   AAL.L  20130220  1998.0  2014.50  1942.4999  1951.0000  3666033  2013-02-20 18:47:44
5  ANTO.L  20130220  1093.0  1097.00  1064.7899  1068.0000  2183931  2013-02-20 18:47:44
6   ARM.L  20130220   941.5   965.10   939.4250   951.5001  2994652  2013-02-20 18:47:45

但是我得到了一些可怕的东西：

        0         1        2        3          4         5        6                    7       0         1       2        3          4          5        6                    7
0     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   ADN.L  20130220   437.4   442.37   436.5000   441.9000  2775364  2013-02-20 18:47:42
1     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   ADM.L  20130220  1279.0  1300.00  1272.0000  1285.0000   967730  2013-02-20 18:47:42
2     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   AGK.L  20130220  1717.0  1749.00  1709.0000  1739.0000   834534  2013-02-20 18:47:43
3     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN  AMEC.L  20130220  1030.0  1040.00  1024.0000  1035.0000  1972517  2013-02-20 18:47:43
4     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   AAL.L  20130220  1998.0  2014.50  1942.4999  1951.0000  3666033  2013-02-20 18:47:44
5     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN  ANTO.L  20130220  1093.0  1097.00  1064.7899  1068.0000  2183931  2013-02-20 18:47:44
6     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   ARM.L  20130220   941.5   965.10   939.4250   951.5001  2994652  2013-02-20 18:47:45
0     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   ADN.L  20130220   437.4   442.37   436.5000   441.9000  2775364  2013-02-20 18:47:42
1     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   ADM.L  20130220  1279.0  1300.00  1272.0000  1285.0000   967730  2013-02-20 18:47:42
2     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN   AGK.L  20130220  1717.0  1749.00  1709.0000  1739.0000   834534  2013-02-20 18:47:43
3     NaN       NaN      NaN      NaN        NaN       NaN      NaN                  NaN

我不明白为什么。我开始想念 R :(

【问题讨论】：

看这里：pandas.pydata.org/pandas-docs/stable/merging.html
concat 更像 rbind 而不是 append。查看@Seth 的评论
具体concatenating using append有一个简单的例子：df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB'))df2 = pd.DataFrame([[5, 6], [7, 8]], columns=list('AB'))df.append(df2)
另见pandas data frame concat vs append：“append 和 concat [are] 几乎等价”...“Append 是 concat 的具体情况（axis=0, join='outer'）”。跨度>

标签： python r dataframe pandas

【解决方案1】：

import pandas as pd 
import numpy as np

如果你有这样的 DataFrame：

array = np.random.randint( 0,10, size = (2,4) )
df = pd.DataFrame(array, columns = ['A','B', 'C', 'D'], \ 
                           index = ['10aa', '20bb'] )  ### some crazy indexes
df

      A  B  C  D
10aa  4  2  4  6
20bb  5  1  0  2

你想要添加一些 NEW ROW 这是一个列表（或另一个可迭代对象）：

List = [i**3 for i in range(df.shape[1]) ]
List
[0, 1, 8, 27]

您应该使用 zip() 函数将列表转换为字典，其中键等于 DataFrame 中的列：

Dict = dict(  zip(df.columns, List)  )
Dict
{'A': 0, 'B': 1, 'C': 8, 'D': 27}

你可以使用 append() 方法添加新字典：

df = df.append(Dict, ignore_index=True)
df
    A   B   C   D
0   7   5   5   4
1   5   8   4   1
2   0   1   8   27

注意索引已删除。

是的，它不像 R 中的 cbind() 那样简单:(

【讨论】：

【解决方案2】：

dplyr 的bind_rows 做同样的事情。

在python中，你可以这样做：

>>> from datar.all import bind_rows, head, tail
>>> from datar.datasets import iris
>>> 
>>> iris >> head(3) >> bind_rows(iris >> tail(3))
   Sepal_Length  Sepal_Width  Petal_Length  Petal_Width    Species
      <float64>    <float64>     <float64>    <float64>   <object>
0           5.1          3.5           1.4          0.2     setosa
1           4.9          3.0           1.4          0.2     setosa
2           4.7          3.2           1.3          0.2     setosa
3           6.5          3.0           5.2          2.0  virginica
4           6.2          3.4           5.4          2.3  virginica
5           5.9          3.0           5.1          1.8  virginica

我是datar 包的作者。如果您有任何问题，请随时提交问题。

【讨论】：

【解决方案3】：

pd.concat 将用于 R 中的rbind。

import pandas as pd
df1 = pd.DataFrame({'col1': [1,2], 'col2':[3,4]})
df2 = pd.DataFrame({'col1': [5,6], 'col2':[7,8]})
print(df1)
print(df2)
print(pd.concat([df1, df2]))

结果将如下所示：

   col1  col2
0     1     3
1     2     4
   col1  col2
0     5     7
1     6     8
   col1  col2
0     1     3
1     2     4
0     5     7
1     6     8

如果您仔细阅读文档，它还将解释其他操作，如 cbind、..etc。

【讨论】：

【解决方案4】：

啊，这与我创建 DataFrame 的方式有关，与我如何组合它们无关。总而言之，如果您使用循环和如下语句创建框架：

Frame = Frame.append(pandas.DataFrame(data = SomeNewLineOfData))

您必须忽略索引

Frame = Frame.append(pandas.DataFrame(data = SomeNewLineOfData), ignore_index=True)

否则你以后在合并数据时会遇到问题。

【讨论】：

所以，在问了这个问题后回头看，我认为值得注意的是 - 这是制作数据框的一种糟糕的方式。最好构造一个dict列表，然后调用构造函数。
或者，更好的是：不要在循环内调用df.append，它是二次复杂度。而是将 DataFrames 附加到列表并在最后调用 pd.concat。

【解决方案5】：

这对我有用：

import numpy as np
import pandas as pd

dates = np.asarray(pd.date_range('1/1/2000', periods=8))
df1 = pd.DataFrame(np.random.randn(8, 4), index=dates, columns=['A', 'B', 'C', 'D'])
df2 = df1.copy()
df = df1.append(df2)

产量：

                   A         B         C         D
2000-01-01 -0.327208  0.552500  0.862529  0.493109
2000-01-02  1.039844 -2.141089 -0.781609  1.307600
2000-01-03 -0.462831  0.066505 -1.698346  1.123174
2000-01-04 -0.321971 -0.544599 -0.486099 -0.283791
2000-01-05  0.693749  0.544329 -1.606851  0.527733
2000-01-06 -2.461177 -0.339378 -0.236275  0.155569
2000-01-07 -0.597156  0.904511  0.369865  0.862504
2000-01-08 -0.958300 -0.583621 -2.068273  0.539434
2000-01-01 -0.327208  0.552500  0.862529  0.493109
2000-01-02  1.039844 -2.141089 -0.781609  1.307600
2000-01-03 -0.462831  0.066505 -1.698346  1.123174
2000-01-04 -0.321971 -0.544599 -0.486099 -0.283791
2000-01-05  0.693749  0.544329 -1.606851  0.527733
2000-01-06 -2.461177 -0.339378 -0.236275  0.155569
2000-01-07 -0.597156  0.904511  0.369865  0.862504
2000-01-08 -0.958300 -0.583621 -2.068273  0.539434

如果您还没有使用最新版本的pandas，我强烈建议您升级。现在可以使用包含重复索引的 DataFrame 进行操作。

【讨论】：

pip 不会产生最新的 pandas 吗？
@N.McA。是的，它应该。你可以这样检查 - pd.version.version.