遍历 Python 中的 URL 列表 - bs4

Question

我有一个 .txt 文件（名为 test_1.txt），其格式如下：

https://maps.googleapis.com/maps/api/directions/xml?origin=Bethesda,MD&destination=Washington,DC&sensor=false&mode=walking
https://maps.googleapis.com/maps/api/directions/xml?origin=Miami,FL&destination=Mobile,AL&sensor=false&mode=walking
https://maps.googleapis.com/maps/api/directions/xml?origin=Chicago,IL&destination=Scranton,PA&sensor=false&mode=walking
https://maps.googleapis.com/maps/api/directions/xml?origin=Baltimore,MD&destination=Charlotte,NC&sensor=false&mode=walking

如果您转到上述链接之一，您将看到 XML 格式的输出。使用下面编写的代码，我设法让它迭代到第二个方向请求（迈阿密到移动），它打印看似随机的数据，这不是我想要的。我也能够让这个工作，当只使用 .txt 但直接从代码中一次访问一个 URL 时，准确地打印我需要的数据。是否有任何理由只转到第二个 URL 并打印错误信息？ Python代码如下：

import urllib2
from bs4 import BeautifulSoup

with open('test_1.txt', 'r') as f:
    f.readline()
    mapcalc = f.readline()
    response = urllib2.urlopen(mapcalc)
    soup = BeautifulSoup(response)

for leg in soup.select('route > leg'):
    duration = leg.duration.text.strip()
    distance = leg.distance.text.strip()
    start = leg.start_address.text.strip()
    end = leg.end_address.text.strip()
    print duration
    print distance
    print start
    print end

编辑：

这是 Shell 中 Python 代码的输出：

56
1 min
77
253 ft
Miami, FL, USA
Mobile, AL, USA

Answer 1

这是一个link，它可以更清楚地说明您在打开文件和阅读行等时可能遇到的行为（与 Lev Levitsky 的评论有关）。

一种方式：

import httplib2
from bs4 import BeautifulSoup

http = httplib2.Http()
with open('test_1.txt', 'r') as f:
    for mapcalc in f:
        status, response = http.request(mapcalc)
        for leg in BeautifulSoup(response):
            duration = leg.duration.text.strip()
            distance = leg.distance.text.strip()
            start = leg.start_address.text.strip()
            end = leg.end_address.text.strip()
            print duration
            print distance
            print start
            print end

f.close()

我是这种事情的新手，但我得到了上面的代码来处理以下输出：

4877
1 hour 21 mins
6582
4.1 mi
Bethesda, MD, USA
Washington, DC, USA
56
1 min
77
253 ft
Miami, FL, USA
Mobile, AL, USA
190
3 mins
269
0.2 mi
Chicago, IL, USA
Scranton, PA, USA
12
1 min
15
49 ft
Baltimore, MD, USA
Charlotte, NC, USA