<br> 标签将我的数据从使用漂亮的汤和 python 抓取中搞砸了答案

【问题标题】：<br> tag screwing up my data from scraping using beautiful soup and python<br> 标签将我的数据从使用漂亮的汤和 python 抓取中搞砸了
【发布时间】：2015-09-20 10:05:36
【问题描述】：

我正在尝试从给定网站获取高尔夫球场的详细列表。我创建了一个 scraper 工具来抓取美国不同高尔夫球场的名称和地址。

我的问题是在我能够抓取的地址中。我注意到当刮到我的 CSV 文件中时，第一行文本和第二行文本之间没有空格。在 HTML 文件中，我注意到两行文本由 <br> 标签分隔。

如何在我的代码中进行处理，以便我正在抓取的两行文本在抓取到 CSV 时在它们之间提供一个空格？

这是我试图抓取的 HTML 的样子：

<div class="location">10924 Verterans Memorial Dr<br>Abbeville, Louisiana, United States</div>

我的代码的输出是这样的：

10924 Verterans Memorial DrAbbeville, Louisiana, United States

请注意，“Memorial Dr”和“Abbeville”之间没有空格。如何更改它以便在刮擦时提供空间？

这是我的代码：

import csv
import requests
from bs4 import BeautifulSoup

courses_list = []
geolocator =  ArcGIS ()

for i in range(1):
    url="http://sites.garmin.com/clsearch/courses/search?course=&location=&country=US&state=&holes=&radius=&lang=en&search_submitted=1&per_page={}".format(i*20)
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    #print soup
    g_data2 = soup.find_all("div",{"class":"result"})
    #print g_data2
    for item in g_data2:
        try:
            name = item.find_all("div",{"class":"name"})[0].text
            print name
        except:
            name=''
            print "No Name found!"
        try:
            address= item.find_all("div",{"class":"location"})[0].text
            print address
        except:
            address=''
            print "No Address found!"

course=[name,address]
courses_list.append(course)

with open ('geotest.csv','wb') as file:
     writer=csv.writer(file)
     for row in courses_list:
         writer.writerow(row)

【问题讨论】：

标签： python csv beautifulsoup screen-scraping

【解决方案1】：

BeautifulSoup 标记的text 属性返回由标记的所有子字符串组成的字符串，使用默认分隔符（空字符串）连接。要替换不同的分隔符，您可以使用get_text() 方法。

以address_tag 为有问题的<div>：

>>> print address_tag.get_text(separator=' ')
## 10924 Verterans Memorial Dr Abbeville, Louisiana, United States

或重新创建多行：

>>> print address_tag.get_text(separator='\n')
## 10924 Verterans Memorial Dr
## Abbeville, Louisiana, United States

您也可以通过单独提取字符串来完成最后一个结果：

>>> for s in at.strings:
...     print s
...
## 10924 Verterans Memorial Dr
## Abbeville, Louisiana, United States

【讨论】：