如何在 Go 中逐字符读取文件

Question

我有一些要解析的大型 json 文件，并且我想避免一次将所有数据加载到内存中。我想要一个可以一次返回每个字符的函数/循环。

我发现 this example 用于迭代字符串中的单词，而 bufio 包中的 the ScanRunes 函数看起来一次可以返回一个字符。我也有来自 bufio 的 ReadRune 函数大部分都在工作，但这感觉是一种相当繁重的方法。

编辑

我比较了 3 种方法。所有人都使用循环从 bufio.Reader 或 bufio.Scanner 中提取内容。

1. 在bufio.Reader 上使用.ReadRune 循环读取符文。检查调用 .ReadRune 的错误。
2. 在扫描仪上调用.Split(bufio.ScanRunes) 后从bufio.Scanner 读取字节。在每次迭代中调用.Scan 和.Bytes，检查.Scan 调用是否有错误。
3. 与 #2 相同，但从 bufio.Scanner 读取文本，而不是使用 .Text 读取字节。我没有将一段符文与string([]runes) 连接起来，而是将一段字符串与strings.Join([]strings, "") 连接起来以形成最终的文本块。

在 23 MB json 文件上每次运行 10 次的时间是：

1. 0.65 s
2. 2.40 s
3. 0.97 s

所以看起来ReadRune毕竟还不错。它还可以减少更详细的调用，因为每个符文都是在 1 次操作（.ReadRune）中获取的，而不是 2 次（.Scan 和 .Bytes）。

Answer 1

只需在循环中一个一个地读取每个符文...See example

package main

import (
    "bufio"
    "fmt"
    "io"
    "log"
    "strings"
)

var text = `
The quick brown fox jumps over the lazy dog #1.
Быстрая коричневая лиса перепрыгнула через ленивую собаку.
`

func main() {
    r := bufio.NewReader(strings.NewReader(text))
    for {
        if c, sz, err := r.ReadRune(); err != nil {
            if err == io.EOF {
                break
            } else {
                log.Fatal(err)
            }
        } else {
            fmt.Printf("%q [%d]\n", string(c), sz)
        }
    }
}

Answer 2

此代码从输入中读取符文。不需要强制转换，它类似于迭代器：

package main

import (
    "bufio"
    "fmt"
    "strings"
)

func main() {
    in := `{"sample":"json string"}`

    s := bufio.NewScanner(strings.NewReader(in))
    s.Split(bufio.ScanRunes)

    for s.Scan() {
        fmt.Println(s.Text())
    }
}

Answer 3

如果它只是关于内存大小。在即将发布的版本中（很快），将会对 json 解码器进行令牌样式增强： 你可以在这里看到它

https://tip.golang.org/pkg/encoding/json/#Decoder.Token