如何使用 Pandas 或 Requests 在 Python 中访问私有 Github Repo 文件 (.csv)

Question

我不得不将我的公共 Github 存储库切换为私有并且无法访问文件，而不是使用我能够通过公共 Github 存储库访问的访问令牌。

我可以使用 curl 访问我的私人仓库的 CSV： ''' curl -s https://{token}@raw.githubusercontent.com/username/repo/master/file.csv

'''

但是，我想在我的 python 文件中访问这些信息。当回购公开时，我可以简单地使用： ''' 网址 = 'https://raw.githubusercontent.com/username/repo/master/file.csv' df = pd.read_csv(url, error_bad_lines=False)

'''

由于 repo 是私有的，这不再有效，我找不到解决方法来在 python 中下载此 CSV 而不是从终端中提取。

如果我尝试： ''' requests.get(https://{token}@raw.githubusercontent.com/username/repo/master/file.csv) ''' 我收到 404 响应，这与 pd.read_csv() 发生的情况基本相同。如果我单击原始文件，我会看到创建了一个临时令牌并且 URL 是： ''' https://raw.githubusercontent.com/username/repo/master/file.csv?token=TEMPTOKEN ''' 有没有办法附加我的永久私有访问令牌，以便我可以随时从 github 中提取这些数据？

Answer 1

是的，您可以在 Python 中下载 CSV 文件，而不是从终端拉取。为此，您可以使用带有“请求”和“io”模块帮助的 GitHub API v3。下面的可重现示例。

import numpy as np
import pandas as pd
import requests
from io import StringIO

# Create CSV file
df = pd.DataFrame(np.random.randint(2,size=10_000).reshape(1_000,10))
df.to_csv('filename.csv') 

# -> now upload file to private github repo

# define parameters for a request
token = 'paste-there-your-personal-access-token' 
owner = 'repository-owner-name'
repo = 'repository-name-where-data-is-stored'
path = 'filename.csv'

# send a request
r = requests.get(
    'https://api.github.com/repos/{owner}/{repo}/contents/{path}'.format(
    owner=owner, repo=repo, path=path),
    headers={
        'accept': 'application/vnd.github.v3.raw',
        'authorization': 'token {}'.format(token)
            }
    )

# convert string to StringIO object
string_io_obj = StringIO(r.text)

# Load data to df
df = pd.read_csv(string_io_obj, sep=",", index_col=0)

# optionally write df to CSV
df.to_csv("file_name_02.csv")

Answer 2

这最终对我有用——如果有人遇到同样的问题，就把它留在这里。感谢您的帮助！

    import json, requests, urllib, io

    user='my_github_username'
    pao='my_pao'

    github_session = requests.Session()
    github_session.auth = (user, pao)

    # providing raw url to download csv from github
    csv_url = 'https://raw.githubusercontent.com/user/repo/master/csv_name.csv'

    download = github_session.get(csv_url).content
    downloaded_csv = pandas.read_csv(io.StringIO(download.decode('utf-8')), error_bad_lines=False)

Answer 3

你看过pygithub吗？对于访问存储库、文件、拉取请求、历史记录等非常有用。文档是 here。这是一个示例脚本，它打开一个拉取请求、一个从基础分支创建的新分支（您将需要该访问令牌，或者生成一个新的！），并删除一个文件：

from github import Github
my_reviewers = ['usernames', 'of_reviewers']
gh = Github("<token string>")
repo_name = '<my_org>/<my_repo>'
repo = gh.get_repo(repo_name)
default_branch_name = repo.default_branch
base = repo.get_branch(default_branch_name)
new_branch_name = "my_new_branchname"
new_branch = repo.create_git_ref(ref=f'refs/heads/{new_branch_name}',sha=base.commit.sha)
contents = repo.get_contents("some_script_in_repo.sh", ref=new_branch_name)
repo.delete_file(contents.path, "commit message", contents.sha, branch=new_branch_name)
pr = repo.create_pull(
    title="PR to Remove some_script_in_repo.sh",
    body="This is the text in the main body of your pull request",
    head=new_branch_name,
    base=default_branch_name,
)
pr.create_review_request(reviewers=my_reviewers)

希望对您有所帮助，祝您编码愉快！

Answer 4

这种方式对我很有用：

    def _github(url: str, mode: str = "private"):
        url = url.replace("/blob/", "/")
        url = url.replace("/raw/", "/")
        url = url.replace("github.com/", "raw.githubusercontent.com/")

        if mode == "public":
            return requests.get(url)
        else:
            token = os.getenv('GITHUB_TOKEN', '...')
            headers = {
                'Authorization': f'token {token}',
                'Accept': 'application/vnd.github.v3.raw'}
            return requests.get(url, headers=headers)