【问题标题】:Data analytics using Python使用 Python 进行数据分析
【发布时间】:2018-07-04 12:21:10
【问题描述】:

我有多个星形模式形式的 csv 文件。要使用 Python 执行分析,最好将所有这些 csv 文件合并到一个 csv 文件中,还是从每个 csv 文件中提取数据然后进行分析?在线用户几乎总是将所有文件合二为一,然后进行分析。但是,合并所有 csv 文件会消除我的星型模式。我目前在每个 csv 文件中大约有 25,000 行和 10 列。每个 csv 文件的大小约为 7 MB。提前感谢您的帮助。

【问题讨论】:

  • @RoadRunner 我应该将所有文件合并到一个大文件中,还是读取多个文件然后从多个文件中进行分析?
  • 有多少个csv文件?如果您删除星型模式,这是一个大问题吗?我假设您有 6 个 csv 文件,来自您之前的 question。如果是这种情况,如果将文件组合在一起,文件将在 42MB 左右,这应该不是问题。然后你只需要读取一个文件。否则,只需单独读取文件即可。
  • @RoadRunner 感谢您的帮助!我会将所有文件合并为一个并继续。

标签: python data-analysis


【解决方案1】:

我觉得您可以保留事实表并结合其余数据,您可以减少处理的数据量并保持星型模式不变..

谢谢, 拉姆

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-07-04
    • 2011-05-14
    • 1970-01-01
    • 2018-09-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多