【问题标题】:Falcon, hadoop core concepts猎鹰、hadoop 核心概念
【发布时间】:2014-08-27 17:11:08
【问题描述】:

我是一个偏向前端的开发人员,所以我有时很难理解一些后端奇怪的概念,特别是在 js 世界之外(我知道节点,表达后端)。

我将不得不为 falcon 开发一个前端 - hadoop,用户界面应该允许创建新的提要。应允许用户定义流程工作流,用户必须在创建提要或流程之前定义或创建至少一个集群。

这些是我收到的一些要求

我的问题是:

Feed 实体的行为类似于文档还是对象?可以说类似于 json 对象吗?

集群只是执行不同任务的不同地方吗? (我的意思是hadoop,猎鹰的生活方式)

流程实体只是在提要实体中执行的任务的生命周期?

而一个集群实体,仅仅是一组独立的任务吗?

我知道有一个 REST api 可以与该后端通信,这足以管理提要、集群等吗?还是有限制?

编辑

对于ysr的回答,随着时间的推移我有了更准确的理解,

实体(提要、流程、集群)以 xml 格式定义、提交和获取,实体规范在这里http://falcon.apache.org/EntitySpecification.html

REST API 是 http://falcon.apache.org/restapi/ResourceList.html,您可以使用它来管理您的实体生命周期。

从前端的角度来看,我不需要知道更多。

【问题讨论】:

    标签: hadoop falcon


    【解决方案1】:

    Falcon 基本上使用了三种类型的实体。

    1.Cluster 2.Feed 3.Process

    Cluster - 基本上包含系统范围的属性,例如 hdfs 端点、job-tracker 端点、yarn 端点(如果您使用的是 yarn)、oozie 端点、activemq 端点

    Feed - 与数据相关。提要定义包含数据路径、数据可用性频率、保留和复制详细信息等信息。

    进程 - 与以特定频率运行的作业相关。一个进程将消耗一个或多个提要并生成另一个提要。流程定义将包含诸如作业运行的频率、将使用的输入范围、将生成的输出、工作流定义路径等信息。

    并且 Falcon 包含足够的 REST api 来与服务器通信。目前没有这样的限制。如果您发现任何内容,我们(falcon-dev)将非常乐意纳入您的更改。

    【讨论】:

      猜你喜欢
      • 2013-04-07
      • 1970-01-01
      • 1970-01-01
      • 2022-08-11
      • 2017-04-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-04-01
      相关资源
      最近更新 更多