SAS：处理重复而不丢失变量信息

Question

我需要从数据集中删除重复项。我的问题是，一旦我对数据进行排序并标记重复项（使用滞后函数），跨变量的一些信息会出现在重复观察中，而一些则出现在原始观察中。我需要保留所有变量的信息，同时删除重复项。

我的想法是在删除重复之前先填写原始和重复之间的所有信息。

排序数据和标记重复（假数据值）后的观察示例：

Province  AGE  BRTHYEAR   Trans_id  Morb_id    VarX   flag_duplicate
AB        36    1980       45654      .         .           0
AB        36    1980         .        .        2135         1
ON        26    1990         .        .        8868         0
ON        26    1990         .      35464      8868         1

我想要什么：

Province  AGE   BRTHYEAR   Trans_id  Morb_id    VarX   flag_duplicate
AB        36     1980       45654      .        2135         0
AB        36     1980       45654      .        2135         1
ON        26     1990         .      35464      8868         0
ON        26     1990         .      35464      8868         1

所以我可以删除重复项并最终得到这个：

Province   AGE  BRTHYEAR   Trans_id  Morb_id    VarX   flag_duplicate
AB         36     1980       45654      .        2135         0
ON         26     1990         .      35464      8868         0

我创建了滞后和领先变量来尝试填写信息，但它似乎只适用于某些数据集。

这是前导变量的代码：

data uncleaned_data;
merge uncleaned_data
    uncleaned_data(
    firstobs=2
    keep= TRANS_ID MORB_ID Varx
    rename=(TRANS_ID=lead_TRANS_ID MORB_ID=lead_MORB_ID Varx=lead_Varx ));

if lag(flag_duplicate=1) then do;

    if TRANS_ID=. then do;
    TRANS_ID= lead_TRANS_ID;
    end;

 if MORB_ID=. then do;
    MORB_ID= lead_MORB_ID;
    end;

 if Varx=. then do;
    Varx= lead_Varx;
    end;

end;
run;

我对滞后变量做了同样的事情，除了我最初的 if 语句是 'if flag_duplicate=1 then do;'

此方法似乎不适用于我的数据集中的许多重复对。

有没有更好的方法来解决我的问题？可能通过proc SQL？

感谢您的阅读和提供的任何建议！

Answer 1

我假设您没有不同的 Trans_id 值，例如，对于同一个省。如果是这种情况，那么您可以使用update 语句和by 语句一次性展平原始数据以实现您的目标。在我的代码中，使用obs=0 对数据集的第一个引用只是创建变量，第二个引用填充值，by 语句确保每个普罗维登斯只更新一行。

使用此方法意味着您无需事先识别重复值。

data have;
input Province $  AGE  BRTHYEAR   Trans_id  Morb_id    VarX   flag_duplicate;
datalines;
AB        36    1980       45654      .         .           0
AB        36    1980         .        .        2135         1
ON        26    1990         .        .        8868         0
ON        26    1990         .      35464      8868         1
;
run;

data want;
update have(obs=0) have;
by province;
run;

Answer 2

这样的东西应该可以工作......

proc sort data=uncleaned_data; by Province  AGE  BRTHYEAR; run;

data cleaned_data (DROP=TRANS_ID RENAME=(KEEP_TRANS_ID=TRANS_ID) ...);
set uncleaned_data;
by Province  AGE  BRTHYEAR;
if first.BRTHYEAR then do;
keep_TRANS_ID=TRANS_ID;
...
end;
else do;
if keep_TRANS_ID=. then keep_TRANS_ID=TRANS_ID;
...
end;
if last.BRTHYEAR then output;
run;