从财政部网站上抓取联邦票据收益率表答案

【问题标题】：Scraping federal note yield table from the treasury website从财政部网站上抓取联邦票据收益率表
【发布时间】：2017-04-16 00:41:16
【问题描述】：

我想从财政部网站下载 10 年期联邦票据收益率：https://www.treasury.gov/resource-center/data-chart-center/interest-rates/Pages/TextView.aspx?data=yield

为了解析上述网页并检索最近的 10 年国库券收益率，我曾经按照此处提供的说明进行操作： Parsing 10-year federal note yield from the website

library(httr)
URL = "https://www.treasury.gov/resource-center/data-chart-center/interest-rates/Pages/TextView.aspx?data=yield"

urldata <- GET(URL)
data <- readHTMLTable(rawToChar(urldata$content),
                      stringsAsFactors = FALSE)

data <- as.data.frame((data[69]))
names(data) <- gsub("NULL.","", names(data)) # Take out "NULL."

但它不再起作用了。

有什么想法可能是错误的或其他建议吗？

【问题讨论】：

我无法访问该网站，它显示“发生意外错误”。如果您遇到同样的问题，您将无法从中提取数据。
@FernandoIrarrázavalG 我可以访问它，这是直接链接以防万一treasury.gov/resource-center/data-chart-center/interest-rates/…>
也没有工作，这是我得到的：snag.gy/tQl2ya.jpg
@FernandoIrarrázavalG 不确定，我可以在浏览器中毫无问题地打开它
可能需要某种类型的登录？

标签： html r quantmod rvest httr

【解决方案1】：

这并不能回答您的代码为何不再有效的具体问题。这是使用rvest 包的替代方案，它简化了许多抓取操作。特别是在下面，表格的选择是使用类 ID CSS 选择器.t-chart 进行的。这使得它更能容忍页面格式的变化。与运算符 %>% 的链接使得代码非常紧凑。

library(rvest)
t_url = "https://www.treasury.gov/resource-center/data-chart-center/interest-rates/Pages/TextView.aspx?data=yield"
rates <- read_html(t_url) %>%
  html_node(".t-chart") %>% 
  html_table()

rates

#       Date 1 mo 3 mo 6 mo 1 yr 2 yr 3 yr 5 yr 7 yr 10 yr 20 yr 30 yr
# 1 04/03/17 0.73 0.79 0.92 1.02 1.24 1.47 1.88 2.16  2.35  2.71  2.98
# 2 04/04/17 0.77 0.79 0.92 1.03 1.25 1.47 1.88 2.16  2.36  2.72  2.99
# 3 04/05/17 0.77 0.80 0.93 1.03 1.24 1.44 1.85 2.14  2.34  2.71  2.98
# 4 04/06/17 0.78 0.79 0.94 1.05 1.24 1.45 1.87 2.15  2.34  2.72  2.99
# 5 04/07/17 0.77 0.82 0.95 1.08 1.29 1.52 1.92 2.20  2.38  2.74  3.00
# 6 04/10/17 0.77 0.82 0.97 1.07 1.29 1.52 1.91 2.18  2.37  2.72  2.99
# 7 04/11/17 0.74 0.82 0.94 1.05 1.24 1.45 1.84 2.11  2.32  2.67  2.93
# 8 04/12/17 0.77 0.81 0.95 1.04 1.24 1.44 1.81 2.09  2.28  2.65  2.92
# 9 04/13/17 0.76 0.81 0.94 1.03 1.21 1.40 1.77 2.05  2.24  2.62  2.89

【讨论】：