尝试读取整个文件时出现 MalformedInputException

Question

我有一个 132 kb 的文件（你不能说它很大），我正试图从 Scala REPL 中读取它，但我无法读取超过 2048 个字符，因为它给了我一个 java.nio.charset.MalformedInputException 异常

这些是我采取的步骤：

val it = scala.io.Source.fromFile("docs/categorizer/usig_calles.json") // this is ok
it.take(2048).mkString // this is ok too
it.take(1).mkString // BANG!

java.nio.charset.MalformedInputException: Input length = 1
at java.nio.charset.CoderResult.throwException(CoderResult.java:277)
at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:338)
at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:177)
at java.io.InputStreamReader.read(InputStreamReader.java:184)

知道可能出了什么问题吗？

--

显然问题在于文件不是 UTF 编码的

我将它保存为 UTF 并且一切正常，我只是在迭代器上发出 mkString 并检索文件的全部内容

奇怪的是，错误只引起了传递前 2048 个字符...

Answer 1

如果您只想将字节转换为纯拉丁数据：

// File:
io.Source.fromFile(file)(io.Codec.ISO8859).mkString

// InputStream:
io.Source.fromInputStream(System.io)(io.Codec.ISO8859).mkString

Answer 2

任何时候你在同一个迭代器上调用take 两次，所有的赌注都被取消了。迭代器本质上是必不可少的，将它们与函数式惯用语混合起来充其量是冒险的。您在标准库中遇到的大多数迭代器在这方面都表现得相当好，但是一旦您使用了take、或drop、或filter 等，您就处于未定义状态-行为土地，原则上任何事情都可能发生。

来自the docs：

特别重要的是要注意，除非另有说明， 在对迭代器调用方法后，永远不要使用迭代器。他们俩 最重要的例外也是唯一的抽象方法：next 和hasNext ...

def take(n: Int): Iterator[A] ...

重用：调用此方法后，应丢弃迭代器 被调用，并且只使用返回的迭代器。使用 旧迭代器未定义，可能会发生变化，并可能导致 对新迭代器的更改也是如此。

因此，可能不值得尝试准确找出这里出了什么问题。

Answer 3

无法确定没有该文件，但有关异常的文档表明，“当输入字节序列对于给定字符集不合法时，或输入字符序列不是合法的 16 位 Unicode 序列时”抛出异常。 (MalformedInputException javadoc)

我怀疑在 2049 处遇到的第一个字符对于您的环境中的默认 JVM 字符编码无效。考虑使用fromFile.的重载之一明确说明文件的字符编码

如果应用程序将是跨平台的，您应该知道 JVM 上的默认字符编码确实因平台而异，因此如果您使用特定编码进行操作，您要么希望在启动时将其显式设置为命令行参数您的应用程序，或在每次调用时使用适当的重载指定它。