【问题标题】:DATA INGESTION USING SQOOP [duplicate]使用 SQOOP 的数据摄取 [重复]
【发布时间】:2017-04-09 22:19:30
【问题描述】:

我必须使用 Sqoop 在 HDFS 中提取 CSV 文件。

问题是我使用','(逗号)作为分隔符,而且我的数据也有一列带有','。这造成了解析数据的问题。

谁能建议我应该怎么做才能解决这个问题?

我是否可以使用 SQOOP?

【问题讨论】:

    标签: csv hdfs sqoop


    【解决方案1】:

    在使用 sqoop 将数据导入 hdfs 时,您可以使用 sqoop 特定参数 --fields-terminated-by 来分隔字段。

    如果您尝试从本地文件系统导入 csv 文件,那么在这种情况下,您可以直接使用 hadoop fs -put 命令将文件放入 hdfs。

    【讨论】:

    • 谢谢,我正在尝试使用 sqoop 将 csv 文件从 Mysql 数据库导入 hdfs
    猜你喜欢
    • 2015-12-28
    • 1970-01-01
    • 1970-01-01
    • 2016-08-26
    • 2015-05-04
    • 1970-01-01
    • 2022-09-28
    • 1970-01-01
    • 2017-04-30
    相关资源
    最近更新 更多