执行 quanteda 代币的时间序列分析答案

【问题标题】：Performing time series analysis of quanteda tokens执行 quanteda 代币的时间序列分析
【发布时间】：2019-11-18 16:20:23
【问题描述】：

我在想办法将时间信息与 quanteda 中的每个单独令牌配对时遇到问题。我想对包含 25 个不同标记的列表进行时间序列分析。我知道我可以找到每个相应令牌的索引，但我想知道是否有任何方法可以将日期信息直接附加到每个单独的令牌。

【问题讨论】：

标签： r nlp time-series quanteda

【解决方案1】：

据我了解您的问题，您希望将日期信息保留在文本旁边以进行时间序列分析。这里有一些提示：

创建语料库

首先我们创建一个语料库。由于您没有提供示例数据，我将使用一些使用 stringi 包创建的随机文本：

library(quanteda)
set.seed(1)
text <- stringi::stri_rand_lipsum(nparagraphs = 30)
length(text)
#> [1] 30

我创建了一个随机日期向量来配合：

date <- sample(seq(as.Date("1999/01/01"), as.Date("1999/02/01"), by = "day"), 30)

现在我们可以创建语料库对象了。如果您查看语料库功能（?corpus）的帮助，您可以看到不同的输入对象有不同的方法。对于字符对象，我们可以提供额外的文档级变量作为data.frame：

corp <- corpus(x = text, 
               docnames = NULL, 
               docvars = data.frame(date = date))
corp
#> Corpus consisting of 30 documents and 1 docvar.

创建和子集`dfm`

quanteda 中的大多数分析都是在 document-feature matrix 对象的帮助下完成的。在这里，我们将语料库转换为dfm，然后只保留我们想要分析的特征。在这种情况下，我只是选择了随机文本中最常见的词：

dfm <- dfm(corp)

dfm_sub <- dfm_keep(dfm, 
                    pattern = c("sed", "in"),
                    valuetype = "fixed", 
                    case_insensitive = TRUE)

现在dfm 有很多优点，但是将它与其他工具一起使用通常意味着我们需要先将其转换为其他对象。这似乎丢失了日期信息，但我们可以在矩阵转换为 data.frame 后简单地重新附加它：

df <- convert(dfm_sub, "data.frame")
df$date <- dfm@docvars$date

head(df)
#>   document in sed       date
#> 1    text1  4   4 1999-01-31
#> 2    text2  6   8 1999-01-04
#> 3    text3  1   3 1999-01-30
#> 4    text4  1   6 1999-02-01
#> 5    text5  3   5 1999-01-17
#> 6    text6  2   5 1999-01-28

时间序列

您并没有非常具体地说明要进行哪种分析。在谈论时间序列时，我通常将第一步想象为线图。所以这就是我在这里所做的：

library(tidyr)
library(dplyr)
library(ggplot2)
df %>% 
  pivot_longer("in":sed, names_to = "word") %>% 
  ggplot(aes(x = date, y = value, color = word)) +
  geom_line()

【讨论】：

创建语料库

创建和子集dfm

时间序列

创建和子集`dfm`