【问题标题】:Show graph for data over 10 billions lines显示超过 100 亿行数据的图表
【发布时间】:2016-12-15 13:08:17
【问题描述】:

我有一个 40G 的数据文件,包含超过 100 亿行。

每行包含 2 列,以逗号分隔,两列均为“浮点”类型,第一列每行递增。

我想在文件中显示这些数据,我试过 Excel,但它说行太多,无法全部显示。

有没有其他工具可以处理大数据并显示数据的折线图?

【问题讨论】:

  • 我建议查看 R。它是免费和开源的,并且对于像这样的快速学习非常容易。替代方案可能是带有 pandas 和 matplotlib 的 Python。
  • 很确定您将无法绘制 100 亿个实际点。您必须决定如何汇总数据,然后绘制摘要。

标签: excel graph bigdata


【解决方案1】:

Excel 不适合这种大小的文件。没有完美的规则,但如果数据超过 200,000 行,我通常会将数据移动到关系数据库中。在 SQL 中,您可以执行逻辑来创建更小的数据集,将数据聚合成更易于管理的大小。

如果您无法达到与 excel 相称的大小,那么您需要研究像 Tableau 这样可以在关系数据库中绘制数据的选项。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-04-16
    • 1970-01-01
    • 2013-08-12
    • 1970-01-01
    • 2020-03-24
    • 2015-11-06
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多