curlMultiperform（multihandle）中的错误：字符串中嵌入了 nul

Question

我正在尝试下载链接矢量，但收到一条错误消息，我不知道该怎么办。包括代码，希望有人有解决方法。

代码：

library(RCurl)
library(XML) 
url <- "http://www.etfs.bmo.com/bmo-etfs/"
url.parsed <- htmlParse(url)
links <- xpathSApply(url.parsed, "//table//td/a/@href")[-c(1:3)]
links <- paste0("http://www.etfs.bmo.com", links)
pages <- getURI(links)

错误信息：

Error in curlMultiPerform(multiHandle) : 
  embedded nul in string: '         \r\n                            </nobr>\r\n                        </td>\r\n\t\t\t        </tr>\r\n\t\t\t        \r\n\t\t\t\t\t        \r\n\t\t\t\t\t\t\t\r\n\t\t\t\t\t\t        \r\n\t\t\t\t        \t<tr valign="top" >\r\n\t                \t\t\t\t<td class="highlightText"><strong>Annualized Distribution Yield \r\n\t\t                       \t\t\t\r\n\t\t   \t               \t\t\t\t\r\n\t\t    \t            \t\t\t(Jul 07, 2016)\r\n\t\t           \t       \t\t\t\t\r\n\t\t               \t       \t\t\t \r\n\t\t               \t\t\t\t\t<sup>1</sup></strong>\r\n\t\t               \t\t\t\t</td>\r\n\t\t\t            \t\t<td>\r\n                            \t\t<nobr>\r\n   \t                            \t\t\r\n    \t                        \t\t\t\r\n                \t            \t\t\t\r\n\t\t\t        \t         \t\t\t\t2.41%\r\n                        \t    \t\t\t\r\n                           \t\t\t\t \r\n    \t                        \t</nobr>\r\

Answer 1

好的，这需要一段时间，但我想我已经弄明白了。

原来网页编码不正确。它声称是“ISO-8859-1”，但在某些页面上有编码为\x99 的商标符号，这意味着它可能确实在使用“Windows-1252”代码页。这个超出正常 ASCII 范围的符号会启动多字节字符读取，文件很快就会变得混乱。

据我所知，RCurl 本身并不支持这种编码。但是您仍然可以将文件下载为二进制数据，然后使用具有更多转换选项的iconv 进行转换。这应该工作

raw <- lapply(links, getURLContent, binary=TRUE)
pages <- lapply(lapply(raw,readBin,"characer"), 
    iconv, from="WINDOWS-1252", to="UTF-8")

现在我在我的 Mac 上进行了测试。确切的 from/to 字符串可能因平台而异。检查iconvlist() 的列表，如果这在您的机器上不起作用，可能会替换from= 值。