Sqoop 可以在导入时执行任何与 ETL 相关的任务吗？

【问题标题】：Can Sqoop Perform any ETL Related Tasks while it Imports?Sqoop 可以在导入时执行任何与 ETL 相关的任务吗？
【发布时间】：2013-12-14 02:57:46
【问题描述】：

目前，据我了解，数据将从关系数据库 Sqooped 到 HDFS。从那里，Pig 或 M/R 可以运行 ETL 相关任务，并将转换后的数据放入 HDFS 的另一部分。然后可以根据需要删除原始数据。

有没有办法避免将原始数据导入 HDFS 并对通过 Sqoop 传入的数据运行 PIG 和 M/R？这是怎么做到的？

【问题讨论】：

标签： hadoop mapreduce apache-pig hdfs sqoop

【解决方案1】：

Sqoop/Pig/Hive/MR 本质上是面向批处理的（长时间），无法实时处理数据。考虑使用 Flume / Storm / Samza / S4 之类的框架

【讨论】：

猜你喜欢

1970-01-01
2014-11-15
1970-01-01
1970-01-01
1970-01-01
1970-01-01
1970-01-01
1970-01-01
1970-01-01

相关资源

下载 2023-01-01
下载 2021-06-22
下载 2023-03-11

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode