如何从链接中获取完整的 url

Question

说我去http://www.example.com/dir1/dir2/index.html有以下链接：

<a href="/about/">Link</a> <a href="/about">Link</a> <a href="/page.html/">Link</a> <a href="/page.html">Link</a>

我的问题是我不知道什么时候应该将哪些部分连接在一起，因为有些有斜杠，有些没有，我必须考虑到

http://www.example.com/dir1/dir2/index.html/about/

应该是

http://www.example.com/dir1/dir2/about/.

另外，我怎么知道/about 是目录而不是文件？ 我将python3.5 与urllib.request 模块一起使用。

Answer 1

你可以试试这个-

base_url = "http://www.example.com/dir1/dir2"
next = "/index.html"

然后，对于每个链接，提取href 属性并将其分配给next。每个链接的最终 URL 将是 base_url + next。