如何从付费墙后面将 Excel 文件下载到 Pandas 数据框中？答案

【问题标题】：How to download a Excel file from behind a paywall into a pandas dataframe?如何从付费墙后面将 Excel 文件下载到 Pandas 数据框中？
【发布时间】：2015-06-21 04:10:27
【问题描述】：

我有一个需要登录才能访问数据的网站。

import pandas as pd
import requests

r = requests.get(my_url, cookies=my_cookies) # my_cookies are imported from a selenium session.
df = pd.io.excel.read_excel(r.content, sheetname=0)

回复：

IOError: [Errno 2] No such file or directory: 'Ticker\tAction\tName\tShares\tPrice\...

显然，str 被处理为文件名称。有没有办法将其作为文件处理？或者，我们可以将 cookie 传递给 pd.get_html 吗？

编辑：经过进一步处理，我们现在可以看到这实际上是一个 csv 文件。下载的文件内容为：

In [201]: r.content
Out [201]: 'Ticker\tAction\tName\tShares\tPrice\tCommission\tAmount\tTarget Weight\nBRSS\tSELL\tGlobal Brass and Copper Holdings Inc\t400.0\t17.85\t-1.00\t7,140\t0.00\nCOHU\tSELL\tCohu Inc\t700.0\t12.79\t-1.00\t8,953\t0.00\nUNTD\tBUY\tUnited Online Inc\t560.0\t15.15\t-1.00\t-8,484\t0.00\nFLXS\tBUY\tFlexsteel Industries Inc\t210.0\t40.31\t-1.00\t-8,465\t0.00\nUPRO\tCOVER\tProShares UltraPro S&P500\t17.0\t71.02\t-0.00\t-1,207\t0.00\n'

注意它是制表符分隔的。不过，尝试：

# csv version 1
df = pd.read_csv(r.content) 
# Returns error, file does not exist. Apparently read_csv() is also trying to read it as a file.

# csv version 2
fh = io.BytesIO(r.content)
df = pd.read_csv(fh) # ValueError: No columns to parse from file.

# csv version 3
s = StringIO(r.content)
df = pd.read_csv(s)
# No error, but the resulting df is not parsed properly; \t's show up in the text of the dataframe.

【问题讨论】：

您为网站付费吗？询问如何违反服务条款的形式不好。
是的，我为此付费，并且 TOS 允许。
我现在明白了。这些 StringIO() 很棘手。它们在第一次使用后自毁。在添加第二个参数来指定分隔符时，版本 2 和版本 3 都可以使用；但只是第一次阅读。 df = pd.read_csv(fh, '\t') 工作！
它们不会自毁，它们的行为就像任何文件一样——当您阅读时移动光标。当您再次阅读时，您将从光标所在的位置开始阅读。为了能够再次读取文件，您需要使用 seek 方法：s.seek(0) 请记住，您将来可能需要这个。

标签： python python-2.7 pandas

【解决方案1】：

只需将文件内容包装在 BytesIO 中：

with io.BytesIO(r.content) as fh:
    df = pd.io.excel.read_excel(fh, sheetname=0)

【讨论】：

成功了，但不幸的是它遇到了另一个障碍。 df = pd.io.excel.read_excel(fh) 给出消息Unsupported format, or corrupt file: Expected BOF record; found 'Ticker\tA'。显然，“Excel”文件实际上是一个 csv 文件。（请参阅我编辑的问题）。尝试df = pd.read_csv(fh) 给出错误ValueError: No columns to parse from file
知道了！ pd.read_csv() 只需要第二个参数来指定分隔符是 '\t'。

【解决方案2】：

此功能已包含在 2014 年的 update 中。根据 documentation，它就像提供 url 一样简单：

字符串可以是 URL。有效的 URL 方案包括 http、ftp、s3 和文件。对于文件 URL，需要一个主机。例如，本地文件可以是 file://localhost/path/to/workbook.xlsx

根据您提供的代码，您似乎使用的是 pandas 0.13.x？如果您可以升级到较新的版本（下面的代码使用 0.16.x 进行了测试），您可以在不额外使用 requests 库的情况下使其工作。这是在 0.14.1 中添加的

data2 = pd.read_excel(data_url)

作为完整脚本的示例（示例 XLS 文档取自 original bug 报告，说明 read_excel 不接受 URL）：

import pandas as pd
data_url = "http://www.eia.gov/dnav/pet/xls/PET_PRI_ALLMG_A_EPM0_PTC_DPGAL_M.xls"
data = pd.read_excel(data_url, "Data 1", skiprows=2)

【讨论】：

这个答案只在不需要登录的情况下有效。