通过抓取信息创建新列

Question

我正在尝试将从网站抓取的信息添加到列中。我有一个看起来像这样的数据集：

COL1   COL2    COL3
...     ...    bbc.co.uk

我想要一个包含新列的数据集：

 COL1   COL2    COL3          Website Address   Last Analysis   Blacklist Status \  
...     ...    bbc.co.uk

IP Address  Server Location    City       Region

这些新列来自此网站：https://www.urlvoid.com/scan/bbc.co.uk。 我需要用其相关信息填充每一列。

例如：

  COL1   COL2    COL3          Website Address   Last Analysis   Blacklist Status \  
...     ...    bbc.co.uk         Bbc.co.uk         9 days ago       0/35

Domain Registration               IP Address       Server Location    City       Region
1996-08-01 | 24 years ago       151.101.64.81    (US) United States   Unknown    Unknown

不幸的是，我在创建新列并用从网站上抓取的信息填充它们时遇到了一些问题。我可能有更多的网站要查看，不仅仅是 bbc.co.uk。 请参阅下面使用的代码。我确信有更好的（并且更少混淆）的方法来做到这一点。 如果您能帮我弄清楚，我将不胜感激。谢谢

编辑：

如上例所示，对于包含三列 (col1, col2 and col3) 的现有数据集，我还应该添加来自抓取的字段 (Website Address,Last Analysis,Blacklist Status, ...)。那么，对于每个 url，我应该有与之相关的信息（例如，示例中的 bbc.co.uk）。

 COL1   COL2    COL3          Website Address   Last Analysis   Blacklist Status \  
...     ...    bbc.co.uk          Bbc.co.uk         9 days ago       0/35
...     ...    stackoverflow.com
...     ...    ...


IP Address  Server Location    City       Region
  COL1   COL2    COL3          Website Address   Last Analysis   Blacklist Status \  
...     ...    bbc.co.uk         Bbc.co.uk         9 days ago       0/35
...     ...    stackoverflow.com Stackoverflow.com  7 days ago      0/35


Domain Registration               IP Address       Server Location    ...
996-08-01 | 24 years ago       151.101.64.81    (US) United States    ...
2003-12-26 | 17 years ago      ...

（格式不好，但我认为它足以让您了解预期的输出）。

更新代码：

urls= ['bbc.co.uk', 'stackoverflow.com', ...]

for x in urls:
        print(x)
        r = requests.get('https://www.urlvoid.com/scan/'+x)
        soup = BeautifulSoup(r.content, 'lxml')
        tab = soup.select("table.table.table-custom.table-striped")
        dat = tab[0].select('tr')
        for d in dat:
                row = d.select('td')
                original_dataset[row[0].text]=row[1].text

不幸的是，我做错了一些事情，因为它仅将网站上检查的第一个 url 中的信息（即 bbc.co.uk）复制到新列下的所有行中。

Answer 1

如果这是您要找的，请告诉我：

cols = ['Col1','Col2']
rows = ['something','something else']
my_df= pd.DataFrame(rows,index=cols).transpose()
my_df

从此行中提取现有代码：

dat = tab[0].select('tr')

添加：

for d in dat:
    row = d.select('td')
    my_df[row[0].text]=row[1].text
my_df

输出（抱歉格式化）：

    Col1       Col2       Website Address   Last Analysis   Blacklist Status    Domain Registration     Domain Information  IP Address  Reverse DNS     ASN     Server Location     Latitude\Longitude  City    Region
0   something   something else  Bbc.com     11 days ago  |  Rescan  0/35    1989-07-15 | 31 years ago   WHOIS Lookup | DNS Records | Ping   151.101.192.81   Find Websites  |  IPVoid  |  ...   Unknown     AS54113 FASTLY  (US) United States  37.751 / -97.822   Google Map   Unknown     Unknown

编辑：

要使用多个网址，请尝试以下操作：

urls = ['bbc.com', 'stackoverflow.com']
ares = []
for u in urls:
    url = 'https://www.urlvoid.com/scan/'+u
    r = requests.get(url)
    ares.append(r)
rows = []
cols = []
for ar in ares:
    soup = bs(ar.content, 'lxml')
    tab = soup.select("table.table.table-custom.table-striped")        
    dat = tab[0].select('tr')
    line= []
    header=[]
    for d in dat:
        row = d.select('td')
        line.append(row[1].text)
        new_header = row[0].text
        if not new_header in cols:
            cols.append(new_header)

    rows.append(line)

my_df = pd.DataFrame(rows,columns=cols)   
my_df

输出：

Website Address     Last Analysis   Blacklist Status    Domain Registration     Domain Information  IP Address  Reverse DNS     ASN     Server Location     Latitude\Longitude  City    Region
0   Bbc.com     12 days ago  |  Rescan  0/35    1989-07-15 | 31 years ago   WHOIS Lookup | DNS Records | Ping   151.101.192.81   Find Websites  |  IPVoid  |  ...   Unknown     AS54113 FASTLY  (US) United States  37.751 / -97.822   Google Map   Unknown     Unknown
1   Stackoverflow.com   5 minutes ago  |  Rescan    0/35    2003-12-26 | 17 years ago   WHOIS Lookup | DNS Records | Ping   151.101.1.69   Find Websites  |  IPVoid  |  Whois   Unknown     AS54113 FASTLY  (US) United States  37.751 / -97.822   Google Map   Unknown     Unknown

请注意，这没有您现有的两个列（因为我不知道它们是什么），因此您必须将它们分别附加到数据框。

Answer 2

您可以使用更简单的方法来获取数据，即使用 pandas read_html 方法。这是我的镜头-

import pandas as pd

df = pd.read_html("https://www.urlvoid.com/scan/bbc.co.uk/")[0]

df_transpose = df.T

现在您有了所需的转置数据。如果您愿意，可以删除不需要的列。之后，您现在要做的就是将其与现有数据集连接起来。考虑到您可以将数据集加载为 pandas 数据框，您可以简单地为此使用 concat 函数（axis=1 是连接为列）：

pd.concat([df_transpose, existing_dataset], axis=1)

请参阅有关合并/连接的 pandas 文档：http://pandas.pydata.org/pandas-docs/stable/merging.html