选择数组包含 bigquery 中多个值之一的行（最好使用 dbplyr）

Question

我有大量关于 bigquery 的推文，现在想要过滤那些至少包含一个主题标签列表的推文。主题标签保存在数组列中（从 R 中的列表列上传）。如何在该数组的任何位置选择包含多个值之一的行？

在我将用于在 R 中进行分析的代码下方。不出所料，dbplyr 无法翻译 purrr 部分，我很高兴自己学习创建 SQL，但还没有找到一个好的开始观点。感谢您的任何指点。

PS：我还没有将推文上传到 bigquery，它们目前存在于 80 GB 的 RDS 文件中。如果任何简单的数据转换可以使这更容易，我仍然可以在上传时包含它。

tweets_sample <- tibble::tribble(
  ~text, ~hashtags,
  "Hello", list("World", "You"),
  "Goodbye", list("Friend", "You"),
  "Not", list("interested")
)

hashtag_list <- c("World", "interested")

tweets_sample %>% filter(purrr::map_lgl(hashtags, ~ .x %in% hashtag_list %>%
                                   any()))

Answer 1

这里的困难部分是您的主题标签列是列表或数组类型。根据this question dbplyr 对更高级数据类型（如数组）的翻译似乎还没有很好地建立。

两种替代方法：

1. 将您的主题标签转换为字符串并使用文本搜索 (grep)。

2. 在 R 中将 bigquery 查询作为字符串编写，并将其附加到现有连接。这是一个例子：

db_connection = DBI::dbConnect( ... ) # connect to database
remote_tbl = dplyr::tbl(db_connection, from = "remote_table_name")

# build SQL query
sql_query <- glue::glue("SELECT *\n",
                        "FROM (\n",
                        "{dbplyr::sql_render(remote_tbl)}\n",
                        ") alias\n",
  
new_remote_table = dplyr::tbl(db_connection, dbplyr::sql(sql_query))