【发布时间】:2020-05-20 00:47:50
【问题描述】:
我正在 S3 中抓取一个 CSV 数据源。问题是这些 CSV 文件没有标题,并且 Glue Crawler 正在为每个文件创建一个表(创建数千个文件)。
如何处理?
【问题讨论】:
标签: amazon-web-services apache-spark amazon-s3 aws-glue
我正在 S3 中抓取一个 CSV 数据源。问题是这些 CSV 文件没有标题,并且 Glue Crawler 正在为每个文件创建一个表(创建数千个文件)。
如何处理?
【问题讨论】:
标签: amazon-web-services apache-spark amazon-s3 aws-glue
解决方案是使用自定义分类器:
对于 分类器类型的 CSV 文件,字段 Column headings 具有选项 No headings 允许通知 Crawler CSV 文件没有标题
【讨论】: