【问题标题】:Parquet Reading file gives java.net.URISyntaxException: Relative path in absolute URIParquet 读取文件给出 java.net.URISyntaxException: 绝对 URI 中的相对路径
【发布时间】:2018-07-27 04:08:33
【问题描述】:

我有上传到 S3 的镶木地板文件,然后我将它们下载到一个文件夹中。以下代码给出错误:

Configuration conf = new Configuration();
Path path = new Path("/Users/mustafa/pqs/2018-02-16T08:30:23.570-d629f5af-23b8-44c7-bc41-ce6ad98b16cd.parquet");
ParquetFileReader file = ParquetFileReader.open(conf, path);
System.out.println(file.getFileMetaData().getSchema());

它试图定位 CRC 文件,但它们不存在。但它给出了一个奇怪的错误。

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: .2018-02-16T08:30:23.570-d629f5af-23b8-44c7-bc41-ce6ad98b16cd.parquet.crc
    at org.apache.hadoop.fs.Path.initialize(Path.java:205)
    at org.apache.hadoop.fs.Path.<init>(Path.java:171)
    at org.apache.hadoop.fs.Path.<init>(Path.java:93)
    at org.apache.hadoop.fs.ChecksumFileSystem.getChecksumFile(ChecksumFileSystem.java:90)
    at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:145)
    at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:346)
    at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:769)
    at org.apache.parquet.hadoop.ParquetFileReader.<init>(ParquetFileReader.java:589)
    at org.apache.parquet.hadoop.ParquetFileReader.<init>(ParquetFileReader.java:575)
    at org.apache.parquet.hadoop.ParquetFileReader.open(ParquetFileReader.java:506)
    at com.opsgenie.sre.logmanagement.merge.ParquetMerger.main(ParquetMerger.java:11)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: .2018-02-16T08:30:23.570-d629f5af-23b8-44c7-bc41-ce6ad98b16cd.parquet.crc
    at java.net.URI.checkPath(URI.java:1823)
    at java.net.URI.<init>(URI.java:745)
    at org.apache.hadoop.fs.Path.initialize(Path.java:202)
    ... 10 more

但是,如果我将文件名移动到一个简单的名称 osman.parquet 它可以工作。为什么文件名2018-02-16T08:30:23.570-d629f5af-23b8-44c7-bc41-ce6ad98b16cd.parquet 会让人发疯?

【问题讨论】:

    标签: java amazon-s3 parquet


    【解决方案1】:

    库不允许在路径名中使用:。显然这可以更好地处理。

    https://issues.apache.org/jira/browse/HDFS-13

    【讨论】:

      猜你喜欢
      • 2022-01-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-10-04
      • 1970-01-01
      • 1970-01-01
      • 2014-03-30
      • 2020-10-19
      相关资源
      最近更新 更多