在函数中调用两个熊猫列？

Question

我有一堆要写入文件的 URL。我将 URL 存储在 pandas 数据框中。

数据框有两列：url 和 id。我正在尝试从url 请求每个 URL 并将其写入名为id 的文件中。

这是我目前得到的：

def get_link(url): 
    file_name = os.path.join('/mypath/foo/bar', df.id)
    try: 
        r = requests.get(url)
    except Exception as e:
        print("Failded to get " + url)
    else:
        with open(file_name, 'w') as f: 
            f.write(r.text)

df.url.apply(lambda l: get_link(l))

但是当我调用该函数时，它显然会失败，因为 os.path.join 需要 string 而不是 series。因此我收到错误join() argument must be str or bytes, not 'Series'

有什么想法可以同时调用df.id 和df.url？

谢谢你/R

Answer 1

除了url 之外，您还可以增强函数以采用id_ 参数。

def get_link(url, id_): 
    file_name = os.path.join('/mypath/foo/bar', id_)
    try: 
        r = requests.get(url)
    except ConnectionError, MissingSchema as e:
        print("Failded to get " + url)
    else:
        with open(file_name, 'w') as f: 
            f.write(r.text)

然后只需遍历您的数据框即可调用您的函数。

for idx, row in df.iterrows():
    get_link(url=row.url, id_=row.id)

Answer 2

我认为您需要 apply 和 axis=1 来逐行处理，然后通过 x.url 和 x.id 获取每行的值，因为使用 Series 并按列索引，这里是 url 和 @ 987654329@:

def get_link(x): 
    print (x) 
    file_name = os.path.join('/mypath/foo/bar', x.id)
    try: 
        r = requests.get(x.url)
    except Exception as e:
        print("Failded to get " + x.url)
    else:
        with open(file_name, 'w') as f: 
            f.write(r.text)

df.apply(get_link, axis=1)

示例：

df = pd.DataFrame({'url':['url1','url2'],
                   'id':[1,2]})

print (df)
   id   url
0   1  url1
1   2  url2

def get_link(x):
    print (x) 
    print ('url is: {}'.format(x.url))
    print ('id is: {}'.format(x.id))

df.apply(get_link, axis=1)

id        1
url    url1
Name: 0, dtype: object
url is: url1
id is: 1
id        2
url    url2
Name: 1, dtype: object
url is: url2
id is: 2