【发布时间】:2017-08-17 20:41:48
【问题描述】:
我正在运行一个巨大的数据集,填充唯一值的散列。在庞大的数据步骤结束时,我将哈希内容吐出到第二个数据集。
庞大的数据集足以导致内存不足错误——特别是:
> ERROR: Hash object added nnnnnn items when memory failure occurred.
> FATAL: Insufficient memory to execute DATA step program. Aborted
> during the EXECUTION phase.
所以我想定期将哈希内容写入 dset,然后刷新哈希并继续。为此,我需要为哈希输出数据集提供唯一名称。这是说明问题的我的代码的一个小版本:
data huge ;
do i = 1 to 50 ;
recnum = ceil(i / 15) ;
output ;
end ;
run ;
* Write the hash out every 20 records. ;
%let chunk_size = 20 ;
data huge ;
set huge end = alldone ;
if _n_ = 1 then do ;
declare hash myhash() ;
myhash.definekey('i') ;
myhash.definedata('i', 'y') ;
myhash.definedone() ;
call missing (y) ;
end ;
y = i * 3 ;
myhash.ref() ;
if mod(_n_, &chunk_size) = 0 then do ;
call symput("chunk_num", put(_n_/&chunk_size, z2.0)) ;
myhash.output("dataset: part&chunk_num") ;
end ;
if alldone then do ;
myhash.output("dataset: part_final") ;
end ;
run ;
调用 symput() 正在工作,并且创建了 var(我可以 symget() 将其输出并放入 dset 变量 frx。)但我似乎无法在该哈希输出语句中使用它。我得到的错误是:
WARNING: Apparent symbolic reference CHUNK_NUM not resolved.
如何使用我的 &chunk_num 宏变量来命名我的临时哈希输出数据集?
【问题讨论】:
-
尝试使用 SYMGET 吗?
-
SYMGET 调用需要在引用的 dset 名称内,并且无法解析。