在多个数据帧中保持前 10% 的观察结果，而不会丢失 R 中的数据

Question

我在 rbind.fill'ing 多个数据帧同时对它们进行子集化时遇到问题。我的一般数据框是 1x(6000->60,000)，其中单行是给定的纪念馆（林肯纪念堂），列是 Yelp 和 Trip Advisor 上每条评论中的每个单词对，数字是多少出现单词对的次数。

我想将其减少到词对的前 10%，同时又不会失去其中一个中的后 90% 是另一个词对中前 10% 的机会。

four_score = c(60)
seven_years = c(100)
dataframe1 <- data.frame(four_score,seven_years)


seven_years = c(10)
our_fathers = c(40)
dataframe2 <- data.frame(seven_years,our_fathers)

four_score = c(100, 10)
our_fathers = c(NA, 40)
goal = (data.frame(four_score,our_fathers))
goal$dfName <- c("Dataframe1", "DataFrame2")

这就是目标，我从每个 DF（four_score=100，our_fathers=40）中提取了最常用的词对（前 10%），但也能够填写four_score=10（这是后 90%）在 DF2 中，但因为它在 DF1 中是前 10%，所以它填充）。

到目前为止，我极其混乱的代码如下：

library(reshape2)
library(dplyr)
library(data.table)
four_score = c(60)
seven_years = c(100)
dataframe1 <- data.frame(four_score,seven_years)
dataframe1 <- data.frame(t(dataframe1))
dataframe1$Words <- row.names(dataframe1)
colnames(dataframe1)[1] <- "Count"
dataframe1 = dataframe1[order(-dataframe1$Count),]
row.names(dataframe1)<- NULL
dfName = "dataframe1"
dataframe1  <-cbind(dataframe1,dfName)
melted_df1 <- melt(dataframe1, id=c("dfName", "Words"), measure="Count", variable.name="test")

seven_years = c(10)
our_fathers = c(40)
dataframe2 <- data.frame(seven_years,our_fathers)
dataframe2 <- data.frame(t(dataframe2))
dataframe2$Words <- row.names(dataframe2)
colnames(dataframe2)[1] <- "Count"
dataframe2 = dataframe2[order(-dataframe2$Count),]
row.names(dataframe2)<- NULL
dfName = "dataframe2"
dataframe2  <-cbind(dataframe2,dfName)
melted_df2 <- melt(dataframe2, id=c("dfName", "Words"), measure="Count", variable.name="test")

merged_melt <- rbind.fill(melted_df1, melted_df2)
merged_melt <- data.table(merged_melt)

so_close <- merged_melt[order(value, decreasing = TRUE), head(.SD, n = ceiling(.N/10)), by = dfName] %>%
  dcast.data.table(dfName ~ value)

但是，这并没有解决真正的问题 - 在第二个数据帧中发现 J=10 并将其填充。事后我需要 %in% 的东西吗？

Answer 1

您需要一个流程来挑选前 x% 的行并提取相应的字母。然后返回数据集并找到包含这些字母的行。这样，您将在一个数据集中显示属于 x% 而在其他数据集中不属于的字母的所有信息。

在你创建 2 个融合数据集的那一刻试试这个：

# combine all your melted datasets
df_full = rbind(melted_df1, melted_df2)


df_full %>%
  group_by(dfName) %>%                               # for each dataset
  do(.[order(-.$value),][round(nrow(.)*0.5),]) %>%   # get the top 50% after ordering by value
  ungroup() %>%
  select(Letters) %>%                                # keep the letters you found
  distinct() %>%                                     # keep distinct letters (avoid using a letter multiple times)
  inner_join(df_full, by="Letters") %>%              # join back info from initial table
  dcast(dfName~Letters)                              # reshape


    #       dfName  d   j
    # 1 dataframe1 NA 100
    # 2 dataframe2 40  10