【发布时间】:2011-06-26 02:26:01
【问题描述】:
我在文本文件中有一个相当大的数据集,大约有 2500 万行和 200 列(它们都是数字)。我想运行一些汇总统计和数据分析 (生存分析)。
-
将数据导入
SAS的最快方法是什么? -
我的 PC 需要多少内存才能运行如此庞大的数据集?
【问题讨论】:
标签: sas
我在文本文件中有一个相当大的数据集,大约有 2500 万行和 200 列(它们都是数字)。我想运行一些汇总统计和数据分析 (生存分析)。
将数据导入SAS 的最快方法是什么?
我的 PC 需要多少内存才能运行如此庞大的数据集?
【问题讨论】:
标签: sas
我不确定在使用 PROC IMPORT 时是否会比仅读取数据集快得多。提前指定您的信息和格式可能有助于加快速度,但 PROC IMPORT 默认情况下仅从前 20 条记录中推断出这些信息,因此它不会读取整个数据集来确定要使用的数据类型。您的列都是数字的事实可能会有所帮助。最重要的是确保将结果保存到永久数据集(即为它指定一个库)——如果您只需要导入一次数据,那么它是否需要很长时间并不重要。
SAS 的优点之一是它默认将数据保存在磁盘上而不是内存中,因此 RAM 的大小并不会真正限制数据集的大小。它可能会限制您可以使用该数据集做什么,但我对 SAS 的内部操作了解不够,无法预测您会遇到什么问题。
【讨论】: