使用 Presto 需要多少数据？答案

【问题标题】：How much data do I need to have to make use of Presto?使用 Presto 需要多少数据？
【发布时间】：2013-11-18 03:28:36
【问题描述】：

我需要多少数据才能使用 Presto？该网站声明它可以查询从千兆字节到千兆字节的数据大小。我了解它是如何用于查询非常大的数据集的，但是有人使用它来处理数百 GB 的数据吗？

【问题讨论】：

【解决方案1】：

目前，如果您已经安装了 Hive，Presto 最有用。如果您使用 Hive，则绝对应该尝试 Presto。如果您的所有数据都适合单个机器上的 PostgreSQL 或 MySQL 等关系数据库，并且您对性能感到满意，那么请继续使用它。

但是，Presto 应该比单台机器上的任何一个数据库都快得多，因为它可以并行执行查询。这些数据库都没有并行执行单个查询。目前，使用 Presto 需要设置 HDFS 和 Hive（即使在单台机器上），因此与已经安装现有 Hive 相比，开始使用会更加困难。

【讨论】：

嗨，David，您能否介绍一下 impala 和 presto 之间的区别？什么时候选择presto，什么时候选择impala？我在一些博客中看到 facebook 在开始 presto 之前对 impala 做了一些研究。谢谢

【解决方案2】：

或者，您可以查看Impala - 它已作为生产就绪软件提供了六个月。与 Presto 一样，Impala 是一种分布式 SQL 查询引擎，用于绕过 MapReduce 的 HDFS 中的数据。与 Presto 不同的是，有一个商业供应商提供支持 (Cloudera)。

也就是说，David 关于数据大小的 cmets 仍然适用。为工作使用正确的工具。

【讨论】：

Presto 自 1 月以来一直在 Facebook 投入生产，每天有超过 1,000 名活跃用户，每天运行超过 30,000 次查询。它绝对是久经考验的软件。（我在 Facebook 从事 Presto 工作）
当问题涉及产品 Y 时，我不明白谈论并发产品 X 的意义。
所以....我们应该先拿起产品 X，然后再找出它的用例吗？我一直以为是反过来（“我有大数据需要查询”，而不是“我想用 Presto，我需要多少数据？”）
这应该是评论而不是答案