为什么会出现乱码？

Question

为什么解析网页时会出现乱码？

我已经使用encoding="big-5\\IGNORE"获取正常字符，但它不起作用。

require(XML)
url="http://www.hkex.com.hk/chi/market/sec_tradinfo/stockcode/eisdeqty_c.htm"
options(encoding="big-5")
data=htmlParse(url,isURL=TRUE,encoding="big-5\\IGNORE")
tdata=xpathApply(data,"//table[@class='table_grey_border']")
stock <- readHTMLTable(tdata[[1]], header=TRUE, stringsAsFactors=FALSE)

我应该如何修改我的代码以将乱码变为正常？

@MartinMorgan（下）建议使用

htmlParse(url,isURL=TRUE,encoding="big-5")

下面是一个例子：

require(XML)
url="http://www.hkex.com.hk/chi/market/sec_tradinfo/stockcode/eisdeqty_c.htm"
options(encoding="big-5")
data=htmlParse(url,isURL=TRUE,encoding="big-5")
tdata=xpathApply(data,"//table[@class='table_grey_border']")
stock <- readHTMLTable(tdata[[1]], header=TRUE, stringsAsFactors=FALSE)
stock

总记录应该是 1335。在上面的例子中是 309 - 许多记录似乎已经丢失了

这是一个复杂的问题。有很多问题：

• 格式错误的 html 文件

网络不是标准网络，不是格式良好的 html 文件，让我证明我的观点。
请运行：

url="http://www.hkex.com.hk/chi/market/sec_tradinfo/stockcode/eisdeqty_c.htm"
txt=download.file(url,destfile="stockbig-5",quiet = TRUE)

如何打开下载的文件stockbig-5wiht firefox？

• R中的Iconv函数错误
  如果 html 文件格式正确，您可以使用

  data=readLines(文件)
  datachange=iconv(data,from="source encode",to="target encode\IGNORE")

当一个 html 文件格式不正确时，你可以这样做，在这个例子中，
请跑，

data=readLines(stockbig-5)

会发生错误。

1: In readLines("stockbig-5") :  
  invalid input found on input connection 'stockbig-5'  

您不能在 R 中使用 iconv 函数来更改格式错误的 html 文件中的编码。

你可以，但是在 shell 中这样做

Answer 1

我自己解决了一个晚上，很难。
系统：debian6(locale utf-8)+R2.15(locale utf-8)+gnome terminal(locale utf-8)。
代码如下：

require(XML)
url="http://www.hkex.com.hk/chi/market/sec_tradinfo/stockcode/eisdeqty_c.htm"
txt=download.file(url,destfile="stockbig-5",quiet = TRUE)
system('iconv -f big-5  -t  UTF-8//IGNORE    stockbig-5  > stockutf-8')
data=htmlParse("stockutf-8",isURL=FALSE,encoding="utf-8\\IGNORE")
tdata=xpathApply(data,"//table[@class='table_grey_border']")
stock <- readHTMLTable(tdata[[1]], header=TRUE, stringsAsFactors=FALSE)
stock

我希望我的代码更优雅，R代码中的shell命令可能很丑，

system('iconv -f big5 -t UTF-8//IGNORE stockgb2312 > stockutf-8')

我尝试用纯R代码替换它，失败了，如何用纯R代码替换它？ 您可以使用代码在计算机中复制结果。 完成了一半，成功了一半，继续尝试。