【问题标题】:Pandas DataFrame to List of ListsPandas DataFrame 到列表列表
【发布时间】:2015-03-16 09:44:12
【问题描述】:

将列表列表转换为 pandas 数据框很容易:

import pandas as pd
df = pd.DataFrame([[1,2,3],[3,4,5]])

但是如何将 df 转回列表列表?

lol = df.what_to_do_now?
print lol
# [[1,2,3],[3,4,5]]

【问题讨论】:

  • pd.DataFrame.what_to_do_now = lambda self: self.values.tolist(); lol = df.what_to_do_now(); print(lol) # [[1,2,3],[3,4,5]] 如果你相信它,它会起作用。

标签: python pandas


【解决方案1】:

您可以访问底层数组并调用其tolist 方法:

>>> df = pd.DataFrame([[1,2,3],[3,4,5]])
>>> lol = df.values.tolist()
>>> lol
[[1L, 2L, 3L], [3L, 4L, 5L]]

【讨论】:

  • L 表示 long,而不是 int。
  • 注意,这不会保留列顺序。所以要小心
  • 没有理由不保留列顺序。
  • @RussellLego 这似乎有点奇怪,你知道一个可以证明这一点的例子吗?
【解决方案2】:

如果数据具有要保留的列和索引标签,则有几个选项。

示例数据:

>>> df = pd.DataFrame([[1,2,3],[3,4,5]], \
       columns=('first', 'second', 'third'), \
       index=('alpha', 'beta')) 
>>> df
       first  second  third
alpha      1       2      3
beta       3       4      5

其他答案中描述的tolist() 方法很有用,但只产生核心数据 - 根据您的需要,这可能还不够。

>>> df.values.tolist()
[[1, 2, 3], [3, 4, 5]]

一种方法是使用df.to_json()DataFrame 转换为json,然后再次解析。这很麻烦,但确实有一些优点,因为to_json() 方法有一些有用的选项。

>>> df.to_json()
{
  "first":{"alpha":1,"beta":3},
  "second":{"alpha":2,"beta":4},"third":{"alpha":3,"beta":5}
}

>>> df.to_json(orient='split')
{
 "columns":["first","second","third"],
 "index":["alpha","beta"],
 "data":[[1,2,3],[3,4,5]]
}

麻烦但可能有用。

好消息是为列和行构建列表非常简单:

>>> columns = [df.index.name] + [i for i in df.columns]
>>> rows = [[i for i in row] for row in df.itertuples()]

这会产生:

>>> print(f"columns: {columns}\nrows: {rows}") 
columns: [None, 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

如果None作为索引的名称很麻烦,请重命名:

df = df.rename_axis('stage')

然后:

>>> columns = [df.index.name] + [i for i in df.columns]
>>> print(f"columns: {columns}\nrows: {rows}") 

columns: ['stage', 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

【讨论】:

  • 如果你有一个多级索引,索引元组将是生成行的第一个元素。您需要进一步的步骤来拆分它。
  • 使用DataFrame.itertuples()DataFrame.to_records() 会不会更简单?
  • @AMC 也许,我不知道,也许?为什么不在您自己的答案中添加对这种想法的适当处理,而不是自以为是?
  • @AndrewE 嗯,仍然值得讨论和改进现有答案。
【解决方案3】:

我想保留索引,所以我修改了这个解决方案的原始答案:

list_df = df.reset_index().values.tolist()

现在您可以将其粘贴到其他地方(例如粘贴到 Stack Overflow 问题中),然后重新创建它:

pd.Dataframe(list_df, columns=['name1', ...])
pd.set_index(['name1'], inplace=True)

【讨论】:

    【解决方案4】:

    我不知道它是否符合您的需求,但您也可以这样做:

    >>> lol = df.values
    >>> lol
    array([[1, 2, 3],
           [3, 4, 5]])
    

    这只是 ndarray 模块中的一个 numpy 数组,它可以让你做所有常见的 numpy 数组的事情。

    【讨论】:

    • 加 1。在实践中,通常不需要将 NumPy 数组转换为列表列表。
    【解决方案5】:

    我遇到了这个问题:如何让 df 的标题位于第 0 行,以便将它们写入 excel 中的第 1 行(使用 xlsxwriter)?提出的解决方案都没有奏效,但它们为我指明了正确的方向。我只需要多一行代码

    # get csv data
    df = pd.read_csv(filename)
    
    # combine column headers and list of lists of values
    lol = [df.columns.tolist()] + df.values.tolist()
    

    【讨论】:

    • @Timothy 我需要贡献更多才能投票给你
    【解决方案6】:

    也许有些东西发生了变化,但这会返回一个 ndarrays 列表,它可以满足我的需要。

    list(df.values)
    

    【讨论】:

      【解决方案7】:

      注意:我在 Stack Overflow 上看到过很多案例,其中完全没有必要将 Pandas Series 或 DataFrame 转换为 NumPy 数组或纯 Python 列表。如果您是该库的新手,请考虑仔细检查这些 Pandas 对象是否已经提供了您需要的功能。

      引用@jpp 的comment

      在实践中,通常不需要将 NumPy 数组转换为列表列表。


      如果 Pandas DataFrame/Series 不起作用,您可以使用内置的 DataFrame.to_numpySeries.to_numpy 方法。

      【讨论】:

      • 这个答案仅代表您自己的信念。坦率地说,这有点尴尬。将数据帧转换为列表/数组有完全正当的理由,高级用户肯定知道。
      • @NicolasGervais 这可能有点太多了,是的,我会编辑它以减少概括。 将数据框转换为列表/数组有完全正当的理由 当然,我的回答并没有说任何相反的东西。 高级用户肯定知道。我不明白那个刺拳的意义。在注意到许多人将系列转换为 ndarray 或列表,并将 ndarray 转换为列表后,我写了这个答案,仅仅是因为他们不知道这些对象支持哪些操作。
      • 我指的是非常明显的案例,比如for elem in some_series.values.tolist():,因为他们不知道您可以迭代系列的元素。我不确定这个答案有什么可怕的地方。
      【解决方案8】:

      "df.values" 返回一个 numpy 数组。这不会保留数据类型。整数可能会转换为浮点数。

      df.iterrows() 返回一个也不能保证保留数据类型的系列。见:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.iterrows.html

      下面的代码转换为列表并保留数据类型:

      rows = [list(row) for row in df.itertuples()]
      

      【讨论】:

        【解决方案9】:

        如果您希望将Pandas DataFrame 转换为表格(列表列表)并包含标题列,这应该可以:

        import pandas as pd
        def dfToTable(df:pd.DataFrame) -> list:
            return [list(df.columns)] + df.values.tolist()
        

        用法(在 REPL 中):

        >>> df = pd.DataFrame(
                     [["r1c1","r1c2","r1c3"],["r2c1","r2c2","r3c3"]]
                     , columns=["c1", "c2", "c3"])
        >>> df
             c1    c2    c3
        0  r1c1  r1c2  r1c3
        1  r2c1  r2c2  r3c3
        >>> dfToTable(df)
        [['c1', 'c2', 'c3'], ['r1c1', 'r1c2', 'r1c3'], ['r2c1', 'r2c2', 'r3c3']]
        

        【讨论】:

          【解决方案10】:
          1. 迄今为止提出的解决方案都受到“重新发明轮子”方法的影响。引用@AMC:

          如果您是该库的新手,请考虑仔细检查这些 Pandas 对象是否已经提供了您需要的功能。

          1. 如果您将数据框转换为列表列表,您将丢失信息 - 即索引和列名称。

          我的解决方案:使用to_dict()

          dict_of_lists = df.to_dict(orient='split')
          

          这将为您提供包含三个列表的字典:indexcolumnsdata。如果您确定确实不需要列和索引名称,则可以使用

          dict_of_lists['data']
          

          【讨论】:

          • 上面提出的解决方案仍然是“有损”的。您将丢失索引和列的名称(df.index.namedf.columns.name
          【解决方案11】:

          与问题不太相关,但具有相同期望的另一种风味

          将数据框系列转换为列表列表以使用 Plotly 中的 create_distplot 绘制图表

              hist_data=[]
              hist_data.append(map_data['Population'].to_numpy().tolist())
          

          【讨论】:

            【解决方案12】:

            我们可以使用 DataFrame.iterrows() 函数遍历给定 Dataframe 的每一行,并根据每一行的数据构造一个列表:

            # Empty list 
            row_list =[] 
            
            # Iterate over each row 
            for index, rows in df.iterrows(): 
                # Create list for the current row 
                my_list =[rows.Date, rows.Event, rows.Cost] 
            
                # append the list to the final list 
                row_list.append(my_list) 
            
            # Print 
            print(row_list) 
            

            我们可以成功地将给定数据框的每一行提取到一个列表中

            【讨论】:

            【解决方案13】:

            这很简单:

            import numpy as np
            
            list_of_lists = np.array(df)
            

            【讨论】:

            • 这与使用 DataFrame.valuesDataFrame.to_numpy() 有何不同?不要介意它创建一个 NumPy 数组,而不是一个普通的 Python 列表。
            猜你喜欢
            • 2013-10-07
            • 2019-08-25
            • 2021-10-06
            • 2018-06-09
            相关资源
            最近更新 更多