如何将 Teradata Vantage 与 Google Cloud Data Catalog 集成

作者文杰特涵
最后更新于 2022 年 2 月 14 日

警告
本文来自 Teradata 公司网站入门这是在 中发布的内容的删节版。我们不保证所发布内容的准确性、完整性、可靠性或最新性。具体内容请参考原文。
另外，如果您有任何需要或更正的要求或更正，请发表评论。

概述

在本文中GitHub 上的数据目录 Teradata 连接器描述使用 连接 Teradata Vantage 和 Google Cloud Data Catalog 的步骤，以及通过 Data Catalog 探索 Vantage 表元数据的步骤。

• Scrape 连接到 Teradata Vantage 并检索所有可用的元数据。
·准备。转换元数据并在数据目录实体上创建标签
・摄取。将您的数据目录实体提交到您的 Google Cloud 项目。

关于 Google Cloud 数据目录

Google Cloud Data Catalog 是一项完全托管的数据发现和元数据管理服务。 Data Catalog 可以对数据资产的原生元数据进行编目。数据目录是无服务器的，并提供一个中央目录，用于以结构化格式摄取技术和业务元数据。

关于 Teradata Vantage

Vantage 是一个现代云平台，它将数据仓库、数据湖和分析整合到一个连接的生态系统中。

Vantage 是一个平台，它汇集了描述性、预测性和规范性分析、自主决策、ML 功能和可视化工具，可大规模挖掘实时商业智能，无论您的数据位于何处。

Vantage 使您能够从小型、弹性扩展的计算和存储开始，只为您使用的内容付费，利用低成本的对象存储，并整合分析工作负载。

Vantage 支持 R、Python、Teradata Studio 和其他基于 SQL 的工具。 Vantage 可以部署在公共云、本地、优化的基础设施、商品基础设施或即服务上。

有关 Teradata Vantage 的更多信息，文档请参阅。

先决条件

• 访问 Teradata Vantage 实例。

笔记！
如果您需要 Vantage 的新实例，您可以在 Google Cloud、Azure 或 AWS 云上安装一个名为 Vantage Express 的免费版本。您还可以使用 VMware、VirtualBox 或 UTM 在本地计算机上运行 Vantage Express。

・具有数据目录管理员角色谷歌服务帐号
・账户用创建 Cloud Console 项目（例如合作伙伴集成实验室）
・账单有效
・谷歌云SDK安装什么时候初始化
・Python已安装
・点安装

程序

① 启用数据目录 API
② 安装 Teradata 数据目录连接器
③ 执行
④ 调查 Data Catalog 中的 Teradata Vantage 元数据

启用数据目录 API

・谷歌登录控制台并从导航菜单API 和服务，然后单击库。确保在顶部菜单栏中选择了项目。

・在搜索框中输入数据目录，谷歌云数据目录 API点击使能够点击。

安装 Teradata 数据目录连接器

Teradata Data Catalog 的连接器是Github它发表于此连接器是用 Python 编写的。

・执行以下命令对 gcloud 进行身份验证，并通过 Google 用户身份验证启用对 Cloud Platform 的访问。

谷歌云_登录

gcloud auth login

・Google 登录页面将打开，因此请选择您的 Google 帐户并单击下一页上的允许。
・接下来，如果尚未设置默认项目，请设置它。

GoogleCloud_ConfigSet

gcloud config set project <project id>

安装虚拟环境

建议在隔离的 Python 环境中安装 Teradata Data Catalog Connector。为此，首先虚拟环境安装

视窗

Install_Virtualenv_Win

pip install virtualenv
virtualenv --python python3.6 <your-env>
<your-env>Scriptsctivate

苹果系统

Install_Virtualenv_Mac

pip install virtualenv
virtualenv --python python3.6 <your-env>
source <your-env>/bin/activate

Linux

安装_Virtualenv_Linux

pip install virtualenv
virtualenv --python python3.6 <your-env>
source <your-env>/bin/activate

安装数据目录 Teradata 连接器

视窗

安装_TeradataConnector_Win

pip.exe install google-datacatalog-teradata-connector

苹果系统

安装_TeradataConnector_Max

pip install google-datacatalog-teradata-connector

Linux

安装_TeradataConnector_Linux

pip install google-datacatalog-teradata-connector

设置环境变量

Set_Environment

export GOOGLE_APPLICATION_CREDENTIALS=<google_credentials_file>
export TERADATA2DC_DATACATALOG_PROJECT_ID=<google_cloud_project_id>
export TERADATA2DC_DATACATALOG_LOCATION_ID=<google_cloud_location_id>
export TERADATA2DC_TERADATA_SERVER=<teradata_server>
export TERADATA2DC_TERADATA_USERNAME=<teradata_username>
export TERADATA2DC_TERADATA_PASSWORD=<teradata_password>

google_credential_file指定服务帐户密钥（json 文件）。

执行

谷歌数据目录 teradata 连接器运行命令以建立 Vantage 数据库的入口点。

Run_Set_EntryPoint

google-datacatalog-teradata-connector 
  --datacatalog-project-id=$TERADATA2DC_DATACATALOG_PROJECT_ID 
  --datacatalog-location-id=$TERADATA2DC_DATACATALOG_LOCATION_ID 
  --teradata-host=$TERADATA2DC_TERADATA_SERVER 
  --teradata-user=$TERADATA2DC_TERADATA_USERNAME 
  --teradata-pass=$TERADATA2DC_TERADATA_PASSWORD

以下是 google-datacatalog-teradata-connector 命令的示例输出。

Result_Set_EntryPoint

INFO:root:
==============Starting CLI===============
INFO:root:This SQL connector does not implement the user defined datacatalog-entry-resource-url-prefix
INFO:root:This SQL connector uses the default entry resoure URL

============Start teradata-to-datacatalog===========

==============Scrape metadata===============
INFO:root:Scrapping metadata from connection_args

1 table containers ready to be ingested...

==============Prepare metadata===============

--> database: Gcpuser
37 tables ready to be ingested...

==============Ingest metadata===============

DEBUG:google.auth._default:Checking /Users/Teradata/Apps/Cloud/GCP/teradata2dc-credentials.json for explicit credentials as part of auth process...
INFO:root:Starting to clean up the catalog...
DEBUG:google.auth.transport.requests:Making request: POST https://oauth2.googleapis.com/token
DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): oauth2.googleapis.com:443
DEBUG:urllib3.connectionpool:https://oauth2.googleapis.com:443 "POST /token HTTP/1.1" 200 None
INFO:root:0 entries that match the search query exist in Data Catalog!
INFO:root:Looking for entries to be deleted...
INFO:root:0 entries will be deleted.

Starting to ingest custom metadata...

DEBUG:google.auth._default:Checking /Users/Teradata/Apps/Cloud/GCP/teradata2dc-credentials.json for explicit credentials as part of auth process...
INFO:root:Starting the ingestion flow...
DEBUG:google.auth.transport.requests:Making request: POST https://oauth2.googleapis.com/token
DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): oauth2.googleapis.com:443
DEBUG:urllib3.connectionpool:https://oauth2.googleapis.com:443 "POST /token HTTP/1.1" 200 None
INFO:root:Tag Template created: projects/partner-integration-lab/locations/us-west1/tagTemplates/teradata_database_metadata
INFO:root:Tag Template created: projects/partner-integration-lab/locations/us-west1/tagTemplates/teradata_table_metadata
INFO:root:Tag Template created: projects/partner-integration-lab/locations/us-west1/tagTemplates/teradata_column_metadata
INFO:root:Entry Group created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata
INFO:root:1/38
INFO:root:Entry does not exist: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser
INFO:root:Entry created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser
INFO:root: ^ [database] 34.105.107.155/gcpuser
INFO:root:Starting the upsert tags step
INFO:root:Processing Tag from Template: projects/partner-integration-lab/locations/us-west1/tagTemplates/teradata_database_metadata ...
INFO:root:Tag created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser/tags/CWHNiGQeQmPT
INFO:root:2/38
INFO:root:Entry does not exist: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser_Categories
INFO:root:Entry created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser_Categories
INFO:root: ^ [table] 34.105.107.155/gcpuser/Categories
INFO:root:Starting the upsert tags step
INFO:root:Processing Tag from Template: projects/partner-integration-lab/locations/us-west1/tagTemplates/teradata_table_metadata ...
INFO:root:Tag created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser_Categories/tags/Ceij5G9t915o
INFO:root:38/38
INFO:root:Entry does not exist: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser_tablesv_instantiated_latest
INFO:root:Entry created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser_tablesv_instantiated_latest
INFO:root: ^ [table] 34.105.107.155/gcpuser/tablesv_instantiated_latest
INFO:root:Starting the upsert tags step
INFO:root:Processing Tag from Template: projects/partner-integration-lab/locations/us-west1/tagTemplates/teradata_table_metadata ...
INFO:root:Tag created: projects/partner-integration-lab/locations/us-west1/entryGroups/teradata/entries/gcpuser_tablesv_instantiated_latest/tags/Ceij5G9t915o
INFO:root:
============End teradata-to-datacatalog============

使用 Data Catalog 探索 Teradata Vantage 元数据。

・数据目录去控制台，项目点击您的项目（例如 Partner-integration-lab） Teradata 表显示在右侧面板中。

• 单击感兴趣的表（例如 CITY_LEVEL_TRANS）以查看有关该表的元数据。

清理（​​可选）

- 清理数据目录中的元数据。去做这个，https://github.com/GoogleCloudPlatform/datacatalog-connectors-rdbms/blob/master/google-datacatalog-teradata-connector/tools/cleanup_datacatalog.py到本地目录。
・移动到该文件所在的目录并执行以下命令。

GoogleCloud_CleanUp

python cleanup_datacatalog.py --datacatalog-project-ids=$TERADATA2DC_DATACATALOG_PROJECT_ID

联系 Teradata Vantage

联系 Teradata Vantage

原创声明：本文系作者授权爱码网发表，未经许可，不得转载;

原文地址：https://www.likecs.com/show-308631687.html