【问题标题】:Error in downloading historical weather data using R使用 R 下载历史天气数据时出错
【发布时间】:2018-10-24 09:36:48
【问题描述】:

我正在尝试使用 R 中的“weatherData”库下载历史天气数据以进行进一步分析。

我在库中使用了不同的函数,但不幸的是,返回的错误提示 URL 中似乎没有可用数据。

我尝试在我的服务器上禁用防火墙,但问题仍然存在

谁能帮我解决这个问题?谢谢。

以下是错误示例:

图书馆(天气数据)

getWeatherForDate("SEA", "2014-05-05") 试用网址: https://www.wunderground.com/history/airport/SEA/2014/5/5/CustomHistory.html?dayend=5&monthend=5&yearend=2014&req_city=NA&req_state=NA&req_statename=NA&format=1

检索自:https://www.wunderground.com/history/airport/SEA/2014/5/5/CustomHistory.html?dayend=5&monthend=5&yearend=2014&req_city=NA&req_state=NA&req_statename=NA&format=1 网址似乎不存在:https://www.wunderground.com/history/airport/SEA/2014/5/5/CustomHistory.html?dayend=5&monthend=5&yearend=2014&req_city=NA&req_state=NA&req_statename=NA&format=1 原来的错误信息: HTTP 错误 400。检查 SEA 的汇总数据可用性

数据不可用

警告信息: 在 isObtainedDataValid(wxdata, station_id, custom_url) 中:

网址中似乎没有数据。

尝试通过浏览器访问该 URL 并查看是否有数据。

检查正在尝试的 URL 的有效性: https://www.wunderground.com/history/airport/SEA/2014/5/5/CustomHistory.html?dayend=5&monthend=5&yearend=2014&req_city=NA&req_state=NA&req_statename=NA&format=1

【问题讨论】:

  • 嗨@Jagadish,请添加一个最小的工作示例以帮助任何能够帮助您的人。这样我们就可以在我们这边重现您的错误。
  • 嗨@Nick,感谢您提供的信息。
  • 一个始终免费的天气数据来源是 NOAA,请参阅:ncdc.noaa.gov/cdo-web。您可能无法废弃该网站,但可以下载数据,然后将其导入 R。
  • 谢谢@Dave2e,不幸的是,我在数据集上的资源有限,而且它只能追溯到 2010 年。你会推荐任何网站来下载最近的数据吗?
  • 我同意 NOAA 的网站对于如何找到所需数据(您在工作中的税金)不是很直观。对于西雅图国际机场,数据可追溯到 1940 年代,我建议环顾该站点以查看可用的数据。祝你好运。

标签: r data-science


【解决方案1】:

不幸的是,它似乎不仅影响了你。这个包提供了一个包装器的网站显然改变了他们的 API,从而破坏了功能。

查看issue on GitHub,维护者写道:

所有,因为 WeatherUnderground API 的变化,他们有 转到付费模式,这个包不再有效。我不得不拉 CRAN 的包装。

很遗憾,您或我们对此似乎无能为力。也许您可以找到另一个站点来获取历史天气数据,一个替代方案是mentioned in the issues of weatherData。您可以合作将该站点集成到weatherData,或者您编写一个脚本来自己抓取您需要的数据。请注意,有些网站不允许抓取

编辑: 另一方面,如果我在weatherunderground.com 上搜索您提供给电话的参数,我end up with this result。要是有办法让浏览器自动进行搜索然后从 HTML 表中提取数据就好了……

编辑: IOWA State University 提供免费下载的历史天气数据。他们还提供链接到社区开发的脚本自动下载数据,即PythonR

【讨论】:

  • 非常感谢您提供的信息!现在我有了抓取数据的参考代码,我将尝试进行一些更改以使脚本更加灵活。
  • @Jagadish,很酷,祝你好运!如果这个答案有帮助,如果您将其标记为已接受,我会很高兴:)
  • 我可以下载数据集,但是从开始日期到结束日期,我每小时都会收到一次,我认为这是不必要的。有什么方法可以下载每月数据而不是每小时数据?
  • @Jagadish,你指的是 wunderground-data 吗?因为在我链接的页面上,顶部有一个“滑块”,可让您在每日、每周和每月数据之间进行选择。这有帮助吗?我找不到任何可与 NCDC 数据相媲美的东西
  • 不是在 wunderground-data 上,而是在 IOWA 州立大学的数据集上。我正在尝试删除必须与 URL 一起提供的 R 代码中的“&day”部分(我正在修改 R 代码以消耗时间)(变量名称:代码中的“服务”),但数据集甚至不会下载。如果我能以某种方式仅获得不同年份的年度月度数据,那将非常有帮助! :) 或者有没有其他 URL 可以建议您删除数据?
猜你喜欢
  • 1970-01-01
  • 2018-01-02
  • 1970-01-01
  • 2016-10-09
  • 2013-11-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多