XPath 选择并连接所有文本节点

Question

我正在从一个看起来像这样的网站抓取数据：

<div class="content">
  <blockquote>
    <div>
      Do not select this.
    </div>
    How do I select only this…
    <br />
    and this…
    <br />
    and this in a single node?
  </blockquote>
</div>

假设像这样的 sn-p 在单个页面上出现 20 次，我想获取 <blockquote> 中的所有文本，但忽略子节点中的所有内容，例如内部 div。

因此我使用：

html %>%
  html_nodes(xpath = "//*[@class='content']/blockquote/text()[normalize-space()]")

但是，这会将 How do I select only this…、and this…、and this in a single node? 分隔为 xml_nodeset 结构中的各个元素。

我应该怎么做才能基本上将所有这些文本节点连接成一个并返回相同的 20 个元素（或者如果我只有这个示例，则返回一个）？

Answer 1

您可以尝试在 XPath 下连接所有子子字符串：

"string-join(//*[@class='content']/blockquote/text()[normalize-space()], ' ')"

输出是

How do I select only this… and this… and this in a single node?

Answer 2

您可以使用 xml_remove() 函数使用 CSS 或 XPATH 删除您的节点。

library(rvest)

text <- '<div class="content">
  <blockquote>
    <div>
      Do not select this.
    </div>
    How do I select only this…
    <br />
    and this…
    <br />
    and this in a single node?
  </blockquote>
</div>'

myhtml <- read_html(text)

#select the nodes you don't want to select
do_not_select <- myhtml %>%
    html_nodes("blockquote>div") #using css

#remove those nodes
xml_remove(do_not_select)

您可以删除空格并稍后\n

#sample result
myhtml %>%
    html_text()
[1] "\n  \n    \n    How do I select only this…\n    \n    and this…\n    \n    and this in a single node?\n  \n"