如何在 pandas 中使用 apply 函数来实现这个 iterrow 案例？

Question

我有以下获取IP信息的代码：

import requests
import json
import pandas as pd
import swifter  

def get_ip(ip):
    response = requests.get ("http://ip-api.com/json/" + ip.rstrip())
    geo = response.json()
    location = {'lat': geo.get('lat', ''),
                'lon': geo.get('lon', ''),
                'region': geo.get('regionName', ''),
                'city': geo.get('city', ''),
                'org': geo.get('org', ''),
                'country': geo.get('countryCode', ''),
                'query': geo.get('query', '')
                }
    return(location)

为了将其应用于整个 IP 数据帧 (df)，我使用的是下一个：

df=pd.DataFrame(['85.56.19.4','188.85.165.103','81.61.223.131'])

for lab,row in df.iterrows():
    dip = get_ip(df.iloc[lab][0])
    try:
        ip.append(dip["query"])
        private.append('no')
        country.append(dip["country"])
        city.append(dip["city"])
        region.append(dip["region"])
        organization.append(dip["org"])
        latitude.append(dip["lat"])
        longitude.append(dip["lon"])
    except:
        ip.append(df.iloc[lab][0])
        private.append("yes")

但是，由于 iterrows 非常慢并且我需要更高的性能，所以我想使用 swiftapply，它是 apply 函数的扩展。我用过这个：

def ip(x):
    dip = get_ip(x)
    if (dip['ip']=='private')==True:
        ip.append(x)
        private.append("yes")
    else:
        ip.append(dip["ip"])
        private.append('no')
        country.append(dip["country"])
        city.append(dip["city"])
        region.append(dip["region"])
        organization.append(dip["org"])
        latitude.append(dip["lat"])
        longitude.append(dip["lon"])

df.swifter.apply(ip)

我收到以下错误： AttributeError: ("'Series' 对象没有属性 'rstrip'", '发生在索引 0')

我该如何解决？

Answer 1

rstrip 是一个字符串操作。要将字符串操作应用于系列 Series，您必须首先在系列上调用 str 函数，这允许在 Series 上执行矢量化字符串操作。

具体来说，在您的代码中将ip.rstrip() 更改为ip.str.rstrip() 应该会解析您的AttributeError。

经过一番挖掘，发现您尝试执行的requests.get 操作无法在pandas 内进行矢量化（请参阅Using Python Requests for several URLS in a dataframe）。我破解了以下内容，应该比使用iterrows 更有效率。下面的工作是利用np.vectorize 运行函数来获取每个IP 地址的信息。位置输入保存为新 DataFrame 中的新列。

首先，我更改了您的 get_ip 函数以返回 location 字典，而不是 (location)。

接下来，我使用np.vectorize创建了一个矢量化函数：

vec_func = np.vectorize(lambda url: get_ip(url))

最后，vec_func 应用于 df 以创建一个新的 DataFrame，它将df 与来自vec_func 的位置输出合并，其中df[0] 是包含您的网址的列：

new_df = pd.concat([df, pd.DataFrame(vec_func(df[0]), columns=["response"])["response"].apply(pd.Series)], axis=1)

上面的代码以字典的形式为 DataFrame 中的每一行检索 API 响应，然后将字典映射到 DataFrame 中的列。最后，您的新 DataFrame 将如下所示：

                0      lat     lon     region      city             org country           query
0      85.56.19.4  37.3824 -5.9761  Andalusia   Seville   Orange Espana      ES      85.56.19.4
1  188.85.165.103  41.6561 -0.8773     Aragon  Zaragoza  Vodafone Spain      ES  188.85.165.103
2   81.61.223.131  40.3272 -3.7635     Madrid   Leganés    Vodafone Ono      ES   81.61.223.131

希望这可以解决 InvalidSchema 错误并让您获得比 iterrows() 更好的性能。