【发布时间】:2017-04-09 22:19:30
【问题描述】:
我必须使用 Sqoop 在 HDFS 中提取 CSV 文件。
问题是我使用','(逗号)作为分隔符,而且我的数据也有一列带有','。这造成了解析数据的问题。
谁能建议我应该怎么做才能解决这个问题?
我是否可以使用 SQOOP?
【问题讨论】:
我必须使用 Sqoop 在 HDFS 中提取 CSV 文件。
问题是我使用','(逗号)作为分隔符,而且我的数据也有一列带有','。这造成了解析数据的问题。
谁能建议我应该怎么做才能解决这个问题?
我是否可以使用 SQOOP?
【问题讨论】:
在使用 sqoop 将数据导入 hdfs 时,您可以使用 sqoop 特定参数 --fields-terminated-by 来分隔字段。
如果您尝试从本地文件系统导入 csv 文件,那么在这种情况下,您可以直接使用 hadoop fs -put 命令将文件放入 hdfs。
【讨论】: