[][]string 与包含 []string 的结构的内存使用情况

Question

当附加到 [][]string 分析时，显示应用使用了大约 145MiB 的内存。

defer profile.Start(profile.MemProfile).Stop()

f, _ := os.Open("test.csv") // 100 MiB File
r := csv.NewReader(f)

var records [][]string
for {
    values, err := r.Read()
    if err == io.EOF {
        break
    }
    records = append(records, values)
}

将切片存储在结构中并附加应用程序使用大约 260MiB 的内存时。

defer profile.Start(profile.MemProfile).Stop()

type record struct {
    values []string
}

f, _ := os.Open("test.csv") // 100 MiB File
r := csv.NewReader(f)

var records []record
for {
    values, err := r.Read()
    if err == io.EOF {
        break
    }
    r := record{values: values}
    records = append(records, r)
}

感觉就像在第二个例子中使用了两倍的内存。有人可以解释为什么第二个示例使用更多内存吗？

Answer 1

对于那些在 go 1.12 和 go 1.15 之间使用的人，debug.FreeOSMemory() 不会将空闲内存返回给操作系统，因此 htop/top 会显示错误的数字或者如果您依赖 RSS 来监控您的应用程序，那就错了。

这是因为 Golang (1.12 - 1.15) 中的运行时使用 MADV_FREE 而不是 MADV_DONTNEED。

Go 1.16 恢复为 MADV_DONTNEED。

请找到更改日志图片和更改日志 URL here。

请升级以获得有关内存使用情况的可预测分析。如果你想使用 GoLang(1.12-1.15) 并且仍然想使用 MADV_DONTNEED，请使用 GODEBUG=madvdontneed=1 ./main 运行你的二进制文件。