从可移植二进制文件运行 impala 集群答案

【问题标题】：Running impala cluster from portable binaries从可移植二进制文件运行 impala 集群
【发布时间】：2016-12-29 11:50:54
【问题描述】：

我正在评估多个大数据工具。其中之一当然是 Impala。
我想通过在集群节点上手动启动进程来启动 Impala 集群。正如我目前为 Spark、H2O、Presto 和 Dask 所做的那样，我想从 shell 获取二进制文件、复制到节点、编辑配置并在节点上启动服务。这很好用，升级很简单，我可以在需要时轻松移动到更大/不同的集群。不幸的是，我找不到有关从 shell 启动所需服务（目录服务器、StateStore 和守护程序）的正确方法的资源。
我认为这是一项显而易见的任务，但找不到合适的示例，所以我的问题是如何从调用 Impala 二进制文件的 shell 启动 Impala 集群？

【问题讨论】：

Apache 官方网站上的 "Starting Impala" 部分怎么样？ cloudera.com/documentation/enterprise/latest/topics/…
免责声明：我从不费心尝试独立安装或手动启动。 Cloudera Manager 在管理整个事情方面做得不错（并在守护程序崩溃时自动重新启动——这本身就是一种有趣的体验，我几乎没有看到可怕的 Unix SEGV 故障20 年！）
@SamsonScharfrichter 这似乎与我的问题无关。如果不清楚，我可以添加我如何运行 Spark、H2O、Presto 或 Dask 的示例。只是针对下载和解压缩的二进制文件的 shell 命令。没有安装或操作系统级别的服务。我同意Cloudera Manager 的体面工作，但我需要在各种环境中运行各种版本，重新安装 impala/CDH，升级、降级似乎不是一条路。

标签： cloudera-cdh impala bigdata

【解决方案1】：

....我想通过在集群节点上手动启动进程来启动 Impala 集群.....如何从调用 Impala 二进制文件的 shell 启动 Impala 集群？

我想这就是你要找的： http://www.cloudera.com/documentation/enterprise/5-5-x/topics/impala_processes.html#starting_via_cmdline

更新 1：

您可能只想从此链接中选择所需的信息：http://doc.mapr.com/plugins/servlet/mobile#content/view/28869628

它有从 github 构建 impala 的步骤，可以在 mapr 上运行。

更新 2：

要构建 Impala，请查看以下链接： https://github.com/cloudera/Impala/wiki/Build-prerequisites https://github.com/cloudera/Impala/wiki/How-to-build-Impala https://cwiki.apache.org/confluence/display/IMPALA/Building+Impala

更新 3：

有关可移植性的专家建议，请联系：

Impala 开发人员：dev@impala.incubator.apache.org

取自http://impala.apache.org/community.html

暂时，您可以考虑为现成的 linux 生产环境构建二进制文件。

针对您的情况的一些更有用的链接：

https://cwiki.apache.org/confluence/display/IMPALA/Tips+for+Faster+Impala+Builds https://cwiki.apache.org/confluence/display/IMPALA/Building+native-toolchain+from+scratch+and+using+with+Impala

【讨论】：

感谢 Marco，现在这是一个有见地的答案，但并不实用。从源代码构建 impala 是否有可能会影响其性能？重点是将 impala 添加到“轻松”可重现的基准 db-benchmark 中，因此安装 CDH 或从源代码构建都不会解决我正在寻找的可移植性。
@jangorecki : 虽然我个人没有尝试从源代码构建，但我认为不会对其性能产生影响（因为它在很大程度上与集群配置、资源和负载有关） .我猜你试图实现的通用可移植性是不切实际的，因为 C++ 组件的存在需要机器本机编译器来创建相应的二进制文件。
@jangorecki ：您是否有任何其他关于实现通用可移植性的意见？如果你这样做了，请分享。