过滤R中的列表

Question

我现在要在 R 中进行贝叶斯知识追踪，并且我的部分代码需要消除在给定 KC 上具有少于 3 个实例的学生，否则参数估计将不会收敛。为此，我目前有：

by_user = split(one_kc, one_kc$Anon.Student.id)
obs_by_user = sapply(by_user, nrow)
valid_users = names(obs_by_user[obs_by_user > 2])
student_outcomes = one_kc[one_kc$Anon.Student.id %in% valid_users,]

但由于某种原因，当我在我的环境中查看 by_user 时，无效用户仍然在其中列出，如果我尝试运行曲线拟合，值不会收敛，我相信这就是原因。我哪里错了？

编辑：这是我目前正在使用的更多代码：

df <- data.frame(read.table(file=file.choose(),na.strings="NA",sep="\t",quote="",header=TRUE, fill=TRUE))


df_subset <- df[,c(5,21,27,39,38)]

df_subset$Accuracy <- as.numeric(as.vector(df_subset$Accuracy))

df_subset <- na.omit(df_subset)

kc_list <- unique(df_subset$KC.Model.2A.)
#loop on the kc_list
for (kc in kc_list)
  {
  print(kc)
  one_kc <- df_subset[ which(df_subset$KC.Model.2A.==kc), ]
  one_kc <- one_kc[,c(1,3)]
  # remove users with few observations on this skill
  by_user = split(one_kc, one_kc$Anon.Student.id)
  obs_by_user = sapply(by_user, nrow)
  valid_users = names(obs_by_user[obs_by_user > 2])
  student_outcomes = one_kc[one_kc$Anon.Student.id %in% valid_users,]

  by_good_user = split(student_outcomes$Accuracy, student_outcomes$Anon.Student.id)
}

Answer 1

library(dplyr)
new_kc <- one_kc %>%
    group_by(Anon.Student.id) %>%
    mutate(instances = n()) %>%
    filter(instances >= 3)

Answer 2

如果您需要加快代码速度，您还可以查看 data.table 包：

library(data.table)
new_kc_dt <- as.data.table(new_kc)

new_kc_dt[, instances := .N, by = Anon.Student.id][instances >= 3]

# which is the same as 
new_kc_dt[, instances := .N, by = Anon.Student.id]
new_kc_dt[instances >= 3]