通过首先浏览 JavaScript 模块在 R 中进行 Web 抓取

Question

我查找了各种问题和答案，但不幸的是，我发现的问题都没有涉及与我的案例相似的案例。在一个典型的问题中，JavaScript 表在网站加载时直接构建。然而，在我的情况下，我首先必须浏览 JavaScript 模块并选择几个标准，然后才能获得受欢迎的结果。

这是我的情况：我必须从该网站www.globocambio.co 获取各种货币的汇率。为此，我必须 (1) 导航到 “我想要哥伦比亚比索”，(2) 选择货币（例如，“智利比索”），(3 ) 和收集目的地（例如，“埃尔多拉多国际机场”）。只有这样相应的汇率才会被加载。请参阅此screenshot 以获取说明。我将三个选择步骤标记为红色。绿色是我要为不同货币抓取的数据点。

我对 JavaScript 不是很熟悉，但我试图了解发生了什么。这是我发现的：

1. 使用 Chrome DevTools，我在加载汇率时调查了网络活动。有一个名为“GetPrice”的 XHR 使用此 URL 请求价格：https://reservations.globocambio.co/DesktopModules/GlobalExchange/API/Widget/GetPrice 并使用以下表单数据 ISOAOrigen=CLP&cantidadOrigen=9000&ISOADestino=COP&cantidadDestino=0&centerId=27&operationType=OperationTypesBuying
2. 我了解表单数据包含我最初手动选择的信息：
   1. operationType=OperationTypesBuying：这是“我想要哥伦比亚比索”选项
   2. ISOAOrigen=CLP：这是“智利比索”
   3. centerId=27: 这是“埃尔多拉多国际机场”

3. 服务器使用以下信息响应我的请求：

   {“MonedaOrigen":{"ISOA":"CLP","Nombre":null,"Margen":0.1630000000,"Tramo":0.0,"Fixing":2.9000000000},"CantidadOrigen":9000.00,"MonedaDestino":{"ISOA":"COP","Nombre":null,"Margen":0.0,"Tramo":0.0,"Fixing":0.0},"CantidadDestino":21845.70,"TipoCambio":2.42730000000000000000,"MargenOrigen":0.0,"TramoOrigen":0.0,"FixingOrigen":0.0,"MargenDestino":0.0,"TramoDestino":0.0,"FixingDestino":0.0,"IdCentro":"27","Comision":null,"ComisionTramoSuperior":null,"ComisionAplicada":{"CodigoMoneda":null,"CodigoTipoMoneda":0,"ComisionFija":0.0,"ComisionVariable":0.0,"TramoInicio":0.0,"TramoFin":null,"Orden”:0}}

4. 从此响应中，"TipoCambio":2.42730000000000000000 正在使用以下 HTML 代码行写入网站：<span id="spTipoCambioCompra">2.427300</span>

5. 这意味着"TipoCambio" 是我正在寻找的值。

所以，我必须以某种方式通过 R 与使用表单数据作为输入变量的服务器进行通信。谁能告诉我该怎么做？ 我的意思是，明白我必须以某种方式将 URL https://reservations.globocambio.co/DesktopModules/GlobalExchange/API/Widget/GetPrice 与表单数据“ISOAOrigen=CLP&cantidadOrigen=9000&ISOADestino=COP&cantidadDestino=0&centerId=27&operationType=OperationTypesBuying”结合起来，但我不知道它是如何工作的..

任何帮助将不胜感激！

更新：

我仍然不知道如何解决上述问题。但是，我尝试用小步骤来解决它。 使用 RSelenium，我目前正在尝试找出如何单击选项“我想要哥伦比亚比索”。我的想法是使用以下代码：

library(RSelenium)
remDr <- RSelenium::remoteDriver(remoteServerAddr = "localhost",
                                 port = 4445L,
                                 browserName = "chrome")
remDr$open()
remDr$navigate("https://www.globocambio.co/en/home")
webElem <- remDr$findElement("id", "tabCompra") #What is wrong here?
webElem$clickElement() # Click on "I WANT COLOMBIAN PESO"

但我在执行webElem <- remDr$findElement("id", "tabCompra")后收到错误消息：

Selenium 消息：没有这样的元素：无法找到元素：{"method":"css selector","selector":"#tabCompra"} （会话信息：chrome=81.0.4044.113） 有关此错误的文档，请访问：https://www.seleniumhq.org/exceptions/no_such_element.html ... 错误：摘要：NoSuchElement 详细信息：使用给定的搜索参数无法在页面上找到元素。 类：org.openqa.selenium.NoSuchElementException 更多细节：运行errorDetails方法

我在这里做错了什么？

Answer 1

我在 Python 中使用 selenium 解决了我的问题：

from selenium import webdriver
driver = webdriver.Firefox(executable_path = '/your_path/geckodriver')

driver.get("https://www.globocambio.co/en/")
driver.switch_to.frame("iframeWidget");

elem = driver.find_element_by_id('tabCompra')
elem.click()

elem = driver.find_element_by_id('inputddlMonedaOrigenCompra')
elem.click()
elem.send_keys(Keys.CLEAR)
elem.send_keys("Chilean Peso")
elem.send_keys(Keys.ENTER)
elem.send_keys(Keys.ARROW_DOWN)
elem.send_keys(Keys.RETURN)

elem = driver.find_element_by_id('info-change-compra')
print(elem.text)