【问题标题】:Merging two data frames without repetition using unique ID's使用唯一 ID 合并两个数据帧而不重复
【发布时间】:2020-12-15 08:25:15
【问题描述】:

我想合并两个数据框。第一个有较少的行(2354),一个唯一的 ID,和两个重复的 ID(CVE_MUN 和 CVE_ENT),这两个是地理标识符。

# A tibble: 2,354 x 6
   CLAVE   NOMBRE       CVE_ENT `ENTIDAD FEDERATIVA~ CVE_MUN `MUNICIPIO (INEG~
   <chr>   <chr>          <dbl> <chr>                  <dbl> <chr>            
 1 03AGN-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES   
 2 03AGO-~ Agostaderito       1 AGUASCALIENTES             1 AGUASCALIENTES   
 3 03AGP-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES   
 4 03AGS-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES   
 5 03AIS-~ Alfa Nissan        1 AGUASCALIENTES             1 AGUASCALIENTES   
 6 03ALF-~ Nissan Mexi~       1 AGUASCALIENTES             1 AGUASCALIENTES   
 7 03APT-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES   
 8 03ASS-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES   
 9 03ASU-~ Asuncion           1 AGUASCALIENTES             1 AGUASCALIENTES   
10 03AYU-~ Ayuntamiento       1 AGUASCALIENTES             1 AGUASCALIENTES   

所以我在某个区域有 26 个不同的 ID (CLAVE) (CVE_ENT:1, CVE_MUN:1),在另一个区域有 3 个 ID (CVE_ENT:1, CVE_MUN:2),等等

CVE_ENT    CVE_MUN    Freq
 1            1        26
 1            2        3
 1            3        2
 1            5        3
 1            6        1
 1            7        1
 1            9        1
 1           10        2
 1           11        2

我想映射所有的 ID,所以我试图将它合并到一个非常详细的地理数据框。该数据框有 299615 行,每个“MAPA”行都有一个唯一的经纬度坐标。

      MAPA CVE_ENT        NOM_ENT NOM_ABR CVE_MUN        NOM_MUN CVE_LOC
1  10010001       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES       1
2  10010094       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES      94
3  10010096       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES      96
4  10010100       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     100
5  10010102       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     102
6  10010104       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     104
7  10010106       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     106
8  10010112       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     112
9  10010113       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     113
10 10010120       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     120
11 10010121       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     121
12 10010125       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     125
13 10010126       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     126
14 10010127       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     127
15 10010128       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     128
16 10010135       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     135
17 10010138       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     138
18 10010139       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     139
19 10010141       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     141
20 10010144       1 AGUASCALIENTES    AGS.       1 AGUASCALIENTES     144

同样,我有 CVE_ENT 和 CVE_MUN,但这次它们的重复次数比我的第一个数据帧要多得多。

CVE_ENT    CVE_MUN    Freq
 1           1         725
 1           2         242
 1           3         293
 1           4         94

我想要的是将给定 CVE_ENT 和 CVE_MUN 的 df1 与 df2 合并,而不重复 MAPA。也就是说,在给定 CVE_ENT 和 CVE_MUN 的情况下,“CLAVE”会合并到不同的“MAPA”。理想情况下,df1 会将前 26 个 CVE_ENT=1 和 CVE_MUN=1 合并到 df2 的前 26 个 CVE_ENT=1 和 CVE_MUN=1。

到目前为止,我已经尝试了 left_join 并通过“CLAVE”进行过滤,但“MAPA”再次重复,我没有唯一的地理长、纬度。

Coord<-left_join(df1,df2,by=c("CVE_ENT","CVE_MUN"))
DT <- Coord[!duplicated(Coord$CLAVE),]

我理想的最终数据框如下所示:

   CLAVE   NOMBRE       CVE_ENT `ENTIDAD FEDERATIVA~ CVE_MUN `MUNICIPIO (INEG~ MAPA
               
 1 03AGN-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES 10010001
 2 03AGO-~ Agostaderito       1 AGUASCALIENTES             1 AGUASCALIENTES 10010094  
 3 03AGP-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES 10010096  
 4 03AGS-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES 10010100  
 5 03AIS-~ Alfa Nissan        1 AGUASCALIENTES             1 AGUASCALIENTES 10010102  
 6 03ALF-~ Nissan Mexi~       1 AGUASCALIENTES             1 AGUASCALIENTES 10010104  
 7 03APT-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES 10010106  
 8 03ASS-~ Aguascalien~       1 AGUASCALIENTES             1 AGUASCALIENTES 10010112  
 9 03ASU-~ Asuncion           1 AGUASCALIENTES             1 AGUASCALIENTES 10010113  
10 03AYU-~ Ayuntamiento       1 AGUASCALIENTES             1 AGUASCALIENTES 10010120  

【问题讨论】:

  • 如果您提供可以直接在 R 中加载的数据,例如reproducible example,将会有所帮助。

标签: r dataframe merge


【解决方案1】:

您可以分两步完成:

  1. 查找 df1df2 的匹配子集(join 通常会做的事情)
  2. 将它们与cbind()bind_cols() 绑定,因为您实际上并不想加入

为了将匹配的子集保持在一起,使用嵌套是很实用的。

library(tidyverse)
# Dummy data
df1 <- tibble(uniq_id = letters[1:10],
              id1 = rep(1:3, times = c(5,3,2)),
              id2 = rep(1:5, each = 2))

df2 <- tibble(id1 = rep(1:3, each = 15),
              id2 = rep(1:5, times = 9),
              coord = paste("coord",id1, id2, c(LETTERS, LETTERS[1:19]), sep="-"))

df1 %>%
  nest_join(df2, by = c("id1", "id2")) %>%
  nest(df1 = uniq_id) %>%
  rowwise() %>%
  mutate(cbound = list(bind_cols(df1, df2[1:nrow(df1), ]))) %>%
  select(-df1, -df2) %>%
  unnest(cbound)

但我确实怀疑为什么要这样做:通常连接是明确定义的,因为您有一个特定的标准来匹配 df1 和 df2 中的行。在这里,为什么AGN 的 MAPA=10010001 而AGO 的 MAPA=10010094,而不是相反?

基础 R 解决方案

您可以使用基本 R 解决方案获得相同的结果:

# Dummy data
df1 <- data.frame(uniq_id = letters[1:10],
              id1 = rep(1:3, times = c(5,3,2)),
              id2 = rep(1:5, each = 2))

df2 <- data.frame(id1 = rep(1:3, each = 15),
              id2 = rep(1:5, times = 9))
df2$coord <- paste("coord",df2$id1, df2$id2, c(LETTERS, LETTERS[1:19]), sep="-")

parallel_merge <- function(xy){
  x <- xy[1]
  y <- xy[2]
  df1_rows <- which(df1$id1 == x & df1$id2 == y)
  
  if(length(df1_rows) == 0) return(NULL)

  df2_rows <- which(df2$id1 == x & df2$id2 == y)
  df2_rows <- df2_rows[1:length(df1_rows)]
  
  cbind(df1[df1_rows,],
        df2[df2_rows,])
}

combinations <- expand.grid(unique(df1$id1), unique(df2$id2))

coords_by_comb <- apply(combinations, 1, parallel_merge)
do.call(rbind, coords_by_comb)

逻辑略有不同:我们首先使用expand.grid()生成id1id2的每个组合,然后我们可以使用apply()对这些组合进行循环(注意如果它不存在某些组合在df1 中,这不是最佳解决方案)。对于每个组合,在函数parallel_merge() 中,我们找到要保留的df1 的子集,要保留的df2 的子集并截断它以匹配df1。然后我们只需要组装所有东西。

【讨论】:

  • 我正在尝试使用虚拟 df 和我自己的 df 运行它,但我不断收到此错误:Error in 1:nrow(df1) : argument of length 0
  • 尝试运行管道的某些部分以查找哪个步骤会导致错误:我想这发生在mutate 步骤?我在答案中包含的虚拟数据是否会发生这种情况?否则,您能否编辑您的问题以提供重现该错误的最小数据集?它是否仍然发生在新启动的 R 会话中? (我编辑了我的答案以包括图书馆调用)?
  • 是的,它在mutate 步骤中,它与您在答案中包含的虚拟数据一起发生。我确实重新启动了我的 R 会话,称为 tidyverse,我得到了相同的结果。我想知道是不是因为它是一个 tibble 而不是一个数据框
  • 你能运行sessionInfo()并报告Rdplyrtidyr的版本吗?
  • R version 4.0.2 (2020-06-22) dplyr_1.0.1 tidyr_1.1.1
猜你喜欢
  • 2020-05-16
  • 1970-01-01
  • 2020-12-07
  • 1970-01-01
  • 2019-08-13
  • 1970-01-01
  • 1970-01-01
  • 2020-06-24
  • 2017-11-13
相关资源
最近更新 更多