使用 rvest 抓取餐厅的长/纬度数据答案

【问题标题】：Scraping restaurants long/lat data using rvest使用 rvest 抓取餐厅的长/纬度数据
【发布时间】：2018-02-25 19:33:55
【问题描述】：

我目前正在尝试从tripadvisor 中抓取经纬度数据。我可以在页面的源代码中看到经度和纬度，但我无法抓取它。这是我的代码：

        library(rvest) 
    WS <- "https://www.tripadvisor.fr/Restaurant_Review-g187147-d10514254-Reviews-Les_Apotres_de_Pigalle-Paris_Ile_de_France.html"

link <- read_html(WS)

lat <- link %>%  html_node(".mapContainer ") %>% html_attr("data-lat")

当我运行此代码时，我有一个“NA”。

任何帮助都会很棒！谢谢

【问题讨论】：

你使用变量WS保存url字符串，然后使用变量site
这违反了他们的T&C，至少会受到民事处罚，并且在某些司法管辖区会受到刑事处罚。任何提供帮助的人都可能会被采取法律行动，并可能禁止他们的 IP 地址使用 Trip Advisor。

标签： r web-scraping latitude-longitude rvest tripadvisor

【解决方案1】：

你可以尝试通过xpath进行抓取

纬度

"substring-after(substring-before(substring-before(substring-after(normalize-space(//script[contains(.,'lat: ')]), '= {'), ', zoom:'), ','), 'lat: ')"

经度

"substring-after(substring-before(substring-after(normalize-space(//script[contains(.,'lat: ')]), '= {'), ', zoom:'), ' lng: ')"

【讨论】：