在 Ruby 中以 URL 作为文件名保存 HTML 文件

Question

我目前正在寻找一种访问 URL、将数据保存为 .html 文件并根据 URL 命名文件的方法。目前，我有一个 .text 文件，每一行都是一个单独的 URL：

http://www.url.com
http://www.url1.com
...

我当前的代码只是将每个 .html fi;e 保存为一个数字，但如果可能的话，我想使用 URL 本身的名称。

require 'open-uri'

n = 0

open ("urllist.txt"){|o|
    while url = o.gets
        url.chomp!
        printf("URL: %s", url)
        open(url) {|site|
            fname = sprintf("html/%d.html", n)
            open(fname, "w"){|out|
                d=site.read
                out.write(d)
            }
        }
        n += 1
    end 
}

也许是使用 IO.readlines 的选项？我不知道。 谢谢。

Answer 1

您可以使用 URI.parse(url).path 获取给定完整 URL 的文件的路径，然后使用 File.basename(path) 获取文件本身的名称。

require 'open-uri'
require 'uri'

n = 0

open ("urllist.txt"){|o|
    while url = o.gets
        url.chomp!
        printf("URL: %s", url)
        open(url) {|site|
            path = URI.parse(url).path
            fname = "html/#{File.basename(path)}"
            open(fname, "w"){|out|
                d=site.read
                out.write(d)
            }
        }
        n += 1
    end 
}