处理包含另一种语言符号的 URL

Question

我正在开发一个网络抓取工具项目，该项目通过“RedditExtractoR”R 包从 Reddit 收集数据。 该包允许通过搜索查询获取帖子的 URL。然后我从每个 URL 的帖子中获取内容。

问题是某些 URL 包含来自另一种语言的符号，R 无法正确处理。

例如下面的 URL 返回错误： "http://www.reddit.com/r/Barca/comments/4g4fmp/match_thread_fc_barcelona_vs_sporting_de_gij\363n/"

In file(con, "r") : cannot open URL 'https://www.reddit.com/r/Barca/comments/4g4fmp/match_thread_fc_barcelona_vs_sporting_de_gij������n/.json?limit=500': HTTP status was '503 Service Unavailable'

原网址为：https://www.reddit.com/r/Barca/comments/4g4fmp/match_thread_fc_barcelona_vs_sporting_de_gijón/

据我了解，存在一些编码问题。 R 无法处理此 URL 字符串，因为其中包含由 R 重新编码为“\363n”的“ó”符号。

那么，如何更改编码以在 R 中正确处理这种 URL？

Answer 1

我不知道你是否介意为此使用一个包，但是，urltools 似乎是一个不错的起点。

library(urltools)
some_url <- "https://www.reddit.com/r/Barca/comments/4g4fmp/match_thread_fc_barcelona_vs_sporting_de_gijón/"
# it could be also a vector of url's
puny_decode(some_url)

给出结果：

[1] "https://www.reddit.com/r/Barca/comments/4g4fmp/match_thread_fc_barcelona_vs_sporting_de_gij\xf3n/"

如果我将它复制到浏览器，它会给我正确的页面。

很抱歉关于 URLencode() 的误导性评论，但它看起来很有希望，但它不能处理 utf 字符。