【问题标题】:Pandas: Looking up the list of sheets in an excel filePandas:在 excel 文件中查找工作表列表
【发布时间】:2013-08-01 09:37:42
【问题描述】:

新版熊猫使用the following interface加载Excel文件:

read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])

但是如果我不知道可用的工作表怎么办?

例如,我正在使用以下表格的 excel 文件

数据 1、数据 2 ...、数据 N、foo、bar

但我不知道N 先验。

有没有办法从 Pandas 中的 excel 文档中获取工作表列表?

【问题讨论】:

    标签: python excel pandas openpyxl xlrd


    【解决方案1】:

    您仍然可以使用ExcelFile 类(和sheet_names 属性):

    xl = pd.ExcelFile('foo.xls')
    
    xl.sheet_names  # see all sheet names
    
    xl.parse(sheet_name)  # read a specific sheet to DataFrame
    

    更多选项请见docs for parse...

    【讨论】:

    • 谢谢@Andy。请问,Pandas 会在ExcelFile 中加载excel 表吗?另外,假设我查找工作表列表并决定加载 N 个工作表,此时我应该为每张工作表调用 read_excel(新界面),还是坚持使用 x1.parse
    • 认为 ExcelFile 使文件保持打开状态(并且不会全部读取),我认为使用 parse (并且只打开一次文件)在这里最有意义。 tbh 我错过了 read_excel 的到来!
    • here 之前提到过,但我喜欢使用{sheet_name: xl.parse(sheet_name) for sheet_name in xl.sheet_names} 保留一个DataFrames 字典
    • 希望我能给你更多的支持,这也适用于多个版本的熊猫! (不知道为什么他们喜欢经常更改 API)感谢您将我指向 parse 函数,但这是当前链接:pandas.pydata.org/pandas-docs/stable/generated/…
    • @NicholasLu 没有必要投反对票,这个答案来自 2013 年!也就是说,虽然 ExcelFile 是解析 excel 文件的原始方法,但它并未被弃用,并且仍然是一种完全有效的方法。
    【解决方案2】:

    您应该将第二个参数(工作表名称)明确指定为无。像这样:

     df = pandas.read_excel("/yourPath/FileName.xlsx", None);
    

    “df”都是作为DataFrames字典的表格,您可以通过运行它来验证它:

    df.keys()
    

    结果如下:

    [u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']
    

    更多详情请参考 pandas 文档:https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

    【讨论】:

    • 这会不必要地将每个工作表解析为 DataFrame,这不是必需的。 “如何读取 xls/xlsx 文件”是 different question
    • @AndyHayden 这可能效率不高,但如果您关心所有工作表,或者您不关心额外开销,这可能是最好的。
    • 命名参数称为sheet_name。即df = pandas.read_excel("/yourPath/FileName.xlsx", sheet_name=None, engine='openpyxl')
    【解决方案3】:

    我已经尝试过 xlrd、pandas、openpyxl 和其他此类库,随着文件大小在读取整个文件时增加,它们似乎都需要指数级时间。上面提到的其他使用“on_demand”的解决方案对我不起作用。如果您最初只想获取工作表名称,则以下函数适用于 xlsx 文件。

    def get_sheet_details(file_path):
        sheets = []
        file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
        # Make a temporary directory with the file name
        directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
        os.mkdir(directory_to_extract_to)
    
        # Extract the xlsx file as it is just a zip file
        zip_ref = zipfile.ZipFile(file_path, 'r')
        zip_ref.extractall(directory_to_extract_to)
        zip_ref.close()
    
        # Open the workbook.xml which is very light and only has meta data, get sheets from it
        path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
        with open(path_to_workbook, 'r') as f:
            xml = f.read()
            dictionary = xmltodict.parse(xml)
            for sheet in dictionary['workbook']['sheets']['sheet']:
                sheet_details = {
                    'id': sheet['@sheetId'],
                    'name': sheet['@name']
                }
                sheets.append(sheet_details)
    
        # Delete the extracted files directory
        shutil.rmtree(directory_to_extract_to)
        return sheets
    

    由于所有 xlsx 基本上都是压缩文件,我们提取底层 xml 数据并直接从工作簿中读取工作表名称,与库函数相比,这需要几分之一秒。

    基准测试:(在 4 张 6mb xlsx 文件上)
    熊猫,xlrd: 12 秒
    openpyxl: 24 秒
    建议方法: 0.4秒

    由于我的要求只是阅读工作表名称,因此阅读整个时间的不必要开销一直困扰着我,所以我选择了这条路线。

    【讨论】:

    • 你用的是什么模块?
    • @Daniel 我只使用了zipfile,它是一个内置模块和xmltodict,我用来将XML 转换为一个易于迭代的字典。尽管您可以在下面查看@divingTobi 的答案,但您可以在其中读取相同的文件,而无需实际提取其中的文件。
    • 当我尝试使用带有 read_only 标志的 openpyxl 时,它明显更快(我的 5 MB 文件快 200 倍)。 load_workbook(excel_file).sheetnames 平均为 8.24 秒,load_workbook(excel_file, read_only=True).sheetnames 平均为 39.6 毫秒。
    【解决方案4】:

    基于@dhwanil_shah 的回答,您不需要提取整个文件。使用zf.open 可以直接从压缩文件中读取。

    import xml.etree.ElementTree as ET
    import zipfile
    
    def xlsxSheets(f):
        zf = zipfile.ZipFile(f)
    
        f = zf.open(r'xl/workbook.xml')
    
        l = f.readline()
        l = f.readline()
        root = ET.fromstring(l)
        sheets=[]
        for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
            sheets.append(c.attrib['name'])
        return sheets
    

    连续的两个readline很丑,但是内容只在正文的第二行。无需解析整个文件。

    此解决方案似乎比 read_excel 版本快得多,而且很可能也比完整提取版本快。

    【讨论】:

    • 不,.xls 是一种完全不同的文件格式,所以我不希望这段代码可以工作。
    【解决方案5】:

    这是我发现的最快方式,灵感来自@divingTobi 的回答。所有基于 xlrd、openpyxl 或 pandas 的答案对我来说很慢,因为它们都首先加载整个文件。

    from zipfile import ZipFile
    from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser
    
    with ZipFile(file) as zipped_file:
        summary = zipped_file.open(r'xl/workbook.xml').read()
    soup = BeautifulSoup(summary, "xml")
    sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]
    
    

    【讨论】:

      【解决方案6】:
      from openpyxl import load_workbook
      
      sheets = load_workbook(excel_file, read_only=True).sheetnames
      

      对于我正在使用的 5MB Excel 文件,没有 read_only 标志的 load_workbook 需要 8.24 秒。使用 read_only 标志只需要 39.6 毫秒。如果您仍然想使用 Excel 库而不是使用 xml 解决方案,那比解析整个文件的方法要快得多。

      【讨论】:

        【解决方案7】:

        如果你:

        • 关心性能
        • 在执行时不需要文件中的数据。
        • 想要使用传统库而不是滚动自己的解决方案

        以下是在 ~10Mb xlsxxlsb 文件上进行的基准测试。

        xlsx, xls

        from openpyxl import load_workbook
        
        def get_sheetnames_xlsx(filepath):
            wb = load_workbook(filepath, read_only=True, keep_links=False)
            return wb.sheetnames
        

        基准测试: ~ 14 倍速度提升

        # get_sheetnames_xlsx vs pd.read_excel
        225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
        3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
        

        xlsb

        from pyxlsb import open_workbook
        
        def get_sheetnames_xlsb(filepath):
          with open_workbook(filepath) as wb:
             return wb.sheets
        

        基准测试: ~ 速度提升 56 倍

        # get_sheetnames_xlsb vs pd.read_excel
        96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
        5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
        

        注意事项:

        【讨论】:

          【解决方案8】:
          1. 使用 load_workbook 只读选项,之前被视为明显等待数秒的执行发生在毫秒内。但该解决方案仍有待改进。

             import pandas as pd
             from openpyxl import load_workbook
             class ExcelFile:
            
                 def __init__(self, **kwargs):
                     ........
                     .....
                     self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames)
            
          2. Excelfile.parse 与读取完整 xls 所需的时间相同,大约为 10 秒。此结果是使用具有以下软件包版本的 windows 10 操作系统获得的

             C:\>python -V
             Python 3.9.1
            
             C:\>pip list
             Package         Version
             --------------- -------
             et-xmlfile      1.0.1
             numpy           1.20.2
             openpyxl        3.0.7
             pandas          1.2.3
             pip             21.0.1
             python-dateutil 2.8.1
             pytz            2021.1
             pyxlsb          1.0.8
             setuptools      49.2.1
             six             1.15.0
             xlrd            2.0.1
            

          【讨论】:

            【解决方案9】:

            如果你阅读 excel 文件

            dfs = pd.ExcelFile('file')
            

            然后使用

            dfs.sheet_names
            dfs.parse('sheetname')
            

            另一种变体

            df = pd.read_excel('file', sheet_name='sheetname')
            

            【讨论】:

              【解决方案10】:

              从 excel (xls., xlsx) 中检索工作表名称的最简单方法是:

              tabs = pd.ExcelFile("path").sheet_names 
              print(tabs)enter code here
              

              然后读取和存储特定工作表的数据(例如,工作表名称为“Sheet1”、“Sheet2”等),例如说“Sheet2”:

              data = pd.read_excel("path", "Sheet2") 
              print(data)
              

              【讨论】:

                【解决方案11】:
                #It will work for Both '.xls' and '.xlsx' by using pandas
                
                import pandas as pd
                excel_Sheet_names = (pd.ExcelFile(excelFilePath)).sheet_names
                
                #for '.xlsx' use only  openpyxl
                
                from openpyxl import load_workbook
                excel_Sheet_names = (load_workbook(excelFilePath, read_only=True)).sheet_names
                                                      
                

                【讨论】:

                  猜你喜欢
                  • 2019-12-23
                  • 1970-01-01
                  • 2018-09-27
                  • 1970-01-01
                  • 1970-01-01
                  • 1970-01-01
                  • 1970-01-01
                  • 2023-02-25
                  • 2019-05-30
                  相关资源
                  最近更新 更多