【问题标题】:Creating a Pandas DataFrame from a Numpy array: How do I specify the index column and column headers?从 Numpy 数组创建 Pandas DataFrame:如何指定索引列和列标题?
【发布时间】:2014-01-12 19:42:49
【问题描述】:

我有一个由列表列表组成的 Numpy 数组,表示一个带有行标签和列名的二维数组,如下所示:

data = array([['','Col1','Col2'],['Row1',1,2],['Row2',3,4]])

我希望生成的 DataFrame 将 Row1 和 Row2 作为索引值,并将 Col1、Col2 作为标头值

我可以指定索引如下:

df = pd.DataFrame(data,index=data[:,0]),

但是我不确定如何最好地分配列标题。

【问题讨论】:

  • @behzad.nouri 的回答是正确的,但我认为您应该考虑是否不能以其他形式获得初始数据。因为现在,您的值将是字符串而不是整数(因为 numpy 数组混合了整数和字符串,所以所有都被转换为字符串,因为 numpy 数组必须是同质的)。

标签: python pandas numpy


【解决方案1】:

您需要将dataindexcolumns指定为DataFrame构造函数,如:

>>> pd.DataFrame(data=data[1:,1:],    # values
...              index=data[1:,0],    # 1st column as index
...              columns=data[0,1:])  # 1st row as the column names

编辑:与@joris 评论一样,您可能需要将上面的内容更改为np.int_(data[1:,1:]) 以获得正确的数据类型。

【讨论】:

  • 这行得通——但是对于这样一种常见的输入数据结构和DataFrame 的所需应用程序,难道没有一些“捷径”吗?这基本上是 csvs 的加载方式 - 并且可以由许多 csv 阅读器的 default 处理来管理。 df 的类似结构会很有用。
  • 我为此添加了一个迷你助手/便利方法作为补充答案。
【解决方案2】:

这是一个易于理解的解决方案

import numpy as np
import pandas as pd

# Creating a 2 dimensional numpy array
>>> data = np.array([[5.8, 2.8], [6.0, 2.2]])
>>> print(data)
>>> data
array([[5.8, 2.8],
       [6. , 2.2]])

# Creating pandas dataframe from numpy array
>>> dataset = pd.DataFrame({'Column1': data[:, 0], 'Column2': data[:, 1]})
>>> print(dataset)
   Column1  Column2
0      5.8      2.8
1      6.0      2.2

【讨论】:

  • 但您必须手动指定 Series 名称......这是不可扩展的。
【解决方案3】:

我同意 Joris 的观点;看来您应该以不同的方式执行此操作,例如 numpy record arrays。从this great answer修改“选项2”,你可以这样做:

import pandas
import numpy

dtype = [('Col1','int32'), ('Col2','float32'), ('Col3','float32')]
values = numpy.zeros(20, dtype=dtype)
index = ['Row'+str(i) for i in range(1, len(values)+1)]

df = pandas.DataFrame(values, index=index)

【讨论】:

    【解决方案4】:

    这可以通过使用 pandas DataFrame 的from_records 来完成

    import numpy as np
    import pandas as pd
    # Creating a numpy array
    x = np.arange(1,10,1).reshape(-1,1)
    dataframe = pd.DataFrame.from_records(x)
    

    【讨论】:

    • 此答案不适用于问题中提供的示例数据,即data = array([['','Col1','Col2'],['Row1',1,2],['Row2',3,4]])
    • 我们没有指定标签时最简单的通用方案。
    【解决方案5】:
        >>import pandas as pd
        >>import numpy as np
        >>data.shape
        (480,193)
        >>type(data)
        numpy.ndarray
        >>df=pd.DataFrame(data=data[0:,0:],
        ...        index=[i for i in range(data.shape[0])],
        ...        columns=['f'+str(i) for i in range(data.shape[1])])
        >>df.head()
        [![array to dataframe][1]][1]
    

    【讨论】:

      【解决方案6】:

      添加到@behzad.nouri 的答案 - 我们可以创建一个辅助例程来处理这种常见情况:

      def csvDf(dat,**kwargs): 
        from numpy import array
        data = array(dat)
        if data is None or len(data)==0 or len(data[0])==0:
          return None
        else:
          return pd.DataFrame(data[1:,1:],index=data[1:,0],columns=data[0,1:],**kwargs)
      

      让我们试试吧:

      data = [['','a','b','c'],['row1','row1cola','row1colb','row1colc'],
           ['row2','row2cola','row2colb','row2colc'],['row3','row3cola','row3colb','row3colc']]
      csvDf(data)
      
      In [61]: csvDf(data)
      Out[61]:
                   a         b         c
      row1  row1cola  row1colb  row1colc
      row2  row2cola  row2colb  row2colc
      row3  row3cola  row3colb  row3colc
      

      【讨论】:

        【解决方案7】:

        这里是使用 numpy 数组创建 pandas 数据框的简单示例。

        import numpy as np
        import pandas as pd
        
        # create an array 
        var1  = np.arange(start=1, stop=21, step=1).reshape(-1)
        var2 = np.random.rand(20,1).reshape(-1)
        print(var1.shape)
        print(var2.shape)
        
        dataset = pd.DataFrame()
        dataset['col1'] = var1
        dataset['col2'] = var2
        dataset.head()
        

        【讨论】:

          【解决方案8】:

          我认为这是一种简单直观的方法:

          data = np.array([[0, 0], [0, 1] , [1, 0] , [1, 1]])
          reward = np.array([1,0,1,0])
          
          dataset = pd.DataFrame()
          dataset['StateAttributes'] = data.tolist()
          dataset['reward'] = reward.tolist()
          
          dataset
          

          返回:

          但此处详述了性能影响:

          How to set the value of a pandas column as list

          【讨论】:

            【解决方案9】:

            它不是那么短,但也许可以帮助你。

            创建数组

            import numpy as np
            import pandas as pd
            
            data = np.array([['col1', 'col2'], [4.8, 2.8], [7.0, 1.2]])
            
            >>> data
            array([['col1', 'col2'],
                   ['4.8', '2.8'],
                   ['7.0', '1.2']], dtype='<U4')
            

            创建数据框

            df = pd.DataFrame(i for i in data).transpose()
            df.drop(0, axis=1, inplace=True)
            df.columns = data[0]
            df
            
            >>> df
              col1 col2
            0  4.8  7.0
            1  2.8  1.2
            

            【讨论】:

              猜你喜欢
              • 2021-03-04
              • 2017-02-11
              • 1970-01-01
              • 2021-12-18
              • 1970-01-01
              • 2020-03-10
              • 2019-11-23
              相关资源
              最近更新 更多