[AWS] 在组织术语时学习 AWS-part9 AWS Glue DataBrew

介绍

本文是一篇了解 AWS Glue DataBrew(以下简称 Glue DataBrew)的文章。
作为主要内容,我会在练习的时候主要写笔记。 (容易忘记的事情等)
如有错误我会重写。

什么是 AWS Glue DataBrew

简而言之,它是一项让 Glue 更易于使用的服务。
AWS 胶水解释如下: (摘抄)

数据分析师和数据科学家可以使用 AWS Glue DataBrew 直观地丰富、清理和规范化数据,而无需编写代码。

它是一项与 Glue 同名的服务,但你能做的却不同。
那么 Glue 和 Glue DataBrew 有什么区别?

Glue 和 Glue DataBrew 之间的主要区别

从文件比对和验证的结果来看,存在以下差异。

物品 胶水 胶水数据酿造
主题 工程师 非工程师
数据转换功能 10~20个 250 件
用代码修复 能够 不能
视觉的 数据预览难看 数据预览一目了然
工作 作为胶水作业管理 作为 Glue DataBrew 作业进行管理
日程 作为胶水计划管理 作为 Glue DataBrew 计划管理

一个主要特点是能够为非工程师提供数据分析,无需代码。

爬虫构建的数据目录与 Glue 共享。

Glue DataBrew 中使用的术语与 Glue 几乎相同,但用法完全不同。
让我们弄清楚如何使用 Glue DataBrew。

使用 Glue DataBrew 输出数据流

使用 Glue 和使用 Glue DataBrew 时的流程如下。

  1. 创建与常规 Glue 等数据的连接
  2. 创建与 Glue 数据集的连接
  3. 为 Glue DataBrew 创建项目
  4. 使用步骤处理数据
  5. 根据配方输出数据

    像普通的 Glue 一样创建与数据的连接

    Glue DataBrew 连接可以引用已创建的 Glue 连接。
    如果你没有,就做一个。

    创建到 Glue 数据集的连接

    数据集使用 Glue 的爬虫创建的数据目录。

    数据目录 = 可用数据集列表

    如果数据不在数据目录中,则在创建项目时将其指定为新数据集。
    【AWS】用語を整理しながら学ぶAWS - part9 AWS Glue DataBrew

    创建 Glue DataBrew 项目

    连接到数据和数据集后,在 Glue DataBrew 中创建一个项目。

    【AWS】用語を整理しながら学ぶAWS - part9 AWS Glue DataBrew

    项目从输入项目名称开始。
    【AWS】用語を整理しながら学ぶAWS - part9 AWS Glue DataBrew

    项目是可以存储一个或多个数据操作的单元。

    项目的设置多于数据和数据集的连接。

    • 食谱
    • 采样
    • IAM 角色

    如果创建项目时配方不存在,则将项目设置为创建一个新的。

    配方是记录数据处理规则的设置。

    采样是一个项目,它决定预览数据处理时显示多少行数据。

    【AWS】用語を整理しながら学ぶAWS - part9 AWS Glue DataBrew

    Glue DataBrew 以配方的形式保存数据处理过程。
    您可以预览应用配方时数据将如何变化。

    配方 = 保存的数据处理程序

    一个 IAM 角色会创建一个考虑要连接到的服务的 IAM 策略。
    从 IAM 策略创建并指定 IAM 角色。

    【AWS】用語を整理しながら学ぶAWS - part9 AWS Glue DataBrew

    至此,项目已经创建完成。
    现在让我们看看如何处理数据。

    使用步骤操作数据

    至于如何处理数据,Glue DataBrew 增加了处理数据的步骤。

    【AWS】用語を整理しながら学ぶAWS - part9 AWS Glue DataBrew

    配方是已添加步骤的保存版本。
    根据配方执行数据处理。

    过程数据 = 添加步骤 = 创建配方

    根据配方输出数据

    随时随地输出数据。
    存储目标将采用符合要求的形式,但通常选择 S3 作为输出目标。

    这是 Glue DataBrew 系列的结尾。

    概括

    我的印象是 Glue DataBrew 是一项让每个人都更容易使用 Glue 的服务。
    尤其是 Glue,其 UI 与旧版页面不同,因此使用起来有点困难。
    Glue DataBrew 似乎是消除这种印象的服务。

    结尾


原创声明:本文系作者授权爱码网发表,未经许可,不得转载;

原文地址:https://www.likecs.com/show-308626383.html

相关文章:

  • 2021-09-06
  • 2021-10-26
  • 2022-02-01
  • 2021-04-05
  • 2021-09-09
  • 2021-09-22
  • 2021-06-16
猜你喜欢
  • 2021-09-18
  • 2022-01-11
  • 2021-12-10
  • 2021-12-12
  • 2022-01-02
  • 2021-11-22
  • 2021-11-07
相关资源
相似解决方案