【问题标题】:How to import large dataset into SAS?如何将大型数据集导入 SAS?
【发布时间】:2011-06-26 02:26:01
【问题描述】:

我在文本文件中有一个相当大的数据集,大约有 2500 万行和 200 列(它们都是数字)。我想运行一些汇总统计和数据分析 (生存分析)。

  1. 将数据导入SAS 的最快方法是什么?

  2. 我的 PC 需要多少内存才能运行如此庞大的数据集?

【问题讨论】:

    标签: sas


    【解决方案1】:
    1. 我不确定在使用 PROC IMPORT 时是否会比仅读取数据集快得多。提前指定您的信息和格式可能有助于加快速度,但 PROC IMPORT 默认情况下仅从前 20 条记录中推断出这些信息,因此它不会读取整个数据集来确定要使用的数据类型。您的列都是数字的事实可能会有所帮助。最重要的是确保将结果保存到永久数据集(即为它指定一个库)——如果您只需要导入一次数据,那么它是否需要很长时间并不重要。

    2. SAS 的优点之一是它默认将数据保存在磁盘上而不是内存中,因此 RAM 的大小并不会真正限制数据集的大小。它可能会限制您可以使用该数据集做什么,但我对 SAS 的内部操作了解不够,无法预测您会遇到什么问题。

    【讨论】:

    • 重新内存使用情况:如果 SAS 告诉您内存不足,无法在数据集上运行 proc summary / proc mean,您可以使用其他数据步骤方法,例如保留语句和 DOW 循环。
    猜你喜欢
    • 2023-03-23
    • 2017-09-19
    • 2020-12-16
    • 1970-01-01
    • 2011-01-27
    • 2015-01-02
    • 2014-03-07
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多