TORQUE、HTCondor 和 Apache Mesos 之间的主要区别是什么答案

【问题标题】：what are the main differences between TORQUE, HTCondor and Apache MesosTORQUE、HTCondor 和 Apache Mesos 之间的主要区别是什么
【发布时间】：2016-04-13 00:49:00
【问题描述】：

我正在寻找一个程序来执行分布式计算（虽然不需要并行计算），它具有：

调度程序
队列管理（FIFO，或者最好是更高级的）
一份不错的统计报告
能够在异构集群（一组具有不同特性的机器，例如 cpu 和内存）上运行
非常重要：良好的响应性（在任务触发和实际开始执行之间最多几秒钟：我听说使用 HTCondor 和 TORQUE 可能很难实现？Apache Mesos 呢？）

【问题讨论】：

看看Apache Mesos
@DmitriChubarov 这将增加另一个抽象级别。是不是会拖慢响应时间？
Apache Mesos 提供的a list of frameworks 可能很适合您的需求，并具有在多个框架之间共享资源的额外优势。容器不是必需的。
您能否扩展您所说的“一份好的统计报告”的含义？我知道 Torque 可以轻松处理这些其他要求。我对 HT Condor 不是很熟悉，但我怀疑它也可以，尽管 Torque 拥有更大的用户社区。span>
以防万一你觉得它有用，你检查过 Spring XD 项目吗？ projects.spring.io/spring-xd

标签： scheduler pbs torque condor

【解决方案1】：

有一个相当大的wikipedia page 进行比较，但你几乎不会发现很大的差异。我的猜测是理论上大多数事情都可以在任一框架中完成。您列出的所有内容都取决于视角（例如，人们通常从 HTCondor 日志中编写自己的复杂统计数据）。关于响应能力：如果有足够的资源让工人接手工作，HTCondor 可以很好地安排交互式笔记本。几秒钟通常没有问题，但几乎没有保证。这些是高吞吐量系统，但不是低延迟系统。如果您关心延迟，您应该预先分配工作人员并扩大和缩小它们（这里支持其他框架比原生延迟更有帮助）。

我尽力从我的角度突出每个项目的主要焦点，这对于实际决策很重要：

目标受众

梅索斯：

PaaS/IaaS 旨在运行其他调度程序 (you can run Torque on top of Mesos)
尤其是与Spark和Kafka等大数据框架的互操作

对比

HTCondor 和 Torque：

公平共享批处理，尤其是在科学集群中（高吞吐量计算）

生态系统

梅索斯：

Apache 开源项目community

对比

HTCondor：

由 UW-Madison 维护的开源代码，经典 user mailing-list

对比

扭矩：

专有，Commercial support

易于使用

（部分是统计，但更多的是仪表板样式）

Mesos 和扭矩：

网页界面
通常与其他可用框架集成（对于 TORQUE 查找 PBS）

HTCondor：

新的、正在开发的 REST 和 python 交互，但没有通用的 GUI
在框架支持方面有点落后（R 批处理工具，最近有了 dask 支持）

【讨论】：