Java：数据结构内存估计

Question

是否有人列出了各种数据结构的粗略估计规则？例如

• 数组
• 列表
• 哈希映射
• 链接列表

我记得在不同的地方看到过一些这样的估计，但我现在似乎找不到。

我知道它实际上非常复杂，尤其是对于像 HashMaps 这样的东西，但我正在寻找一些非常粗糙的东西，比如：

Memory(HashMap) = fixedOverhead + variableOverhead * tableSize + A*numKeys + B*numValues + Memory(allKeys) + Memory(allValues)

当然，它会根据这个和那个而有很大的不同，但即使是粗略的 2 倍以内的估计也会非常有用。

Answer 1

看看这个。 From Java code to Java heap-Understanding and optimizing your application's memory usage

Answer 2

此表非常详尽，准确地处理了 JDK 实现选择，以每个条目/元素的字节数衡量。如果你想在你自己的机器上做——如果你在另一台机器上运行，也许——这个谷歌代码网站会让你下载它的源代码。 http://code.google.com/p/memory-measurer/wiki/ElementCostInDataStructures

Answer 3

这很粗略，但这些估计应该是正确的。这些是针对基本数据结构的，不包括长度变量或任何其他倾向于包含在 Java 中的额外内容。

dataType 是存储的数据类型

Array: (length n)
    n*sizeOf(dataType)

LinkedList:
    n*(sizeOf(dataType)+sizeOf(pointer))+sizeOf(pointer[head pointer])

List: 
    Array-backed=SpaceEfficiency(Array)
    LinkedList-backed=SpaceEfficiency(LinkedList)

HashMap: with v values, k keys
    v*sizeOf(valueDataType)

Tree: k-way tree with n nodes
    n*(sizeOf(nodeDataType)+(k*sizeOf(pointer)))+sizeOf(pointer[head pointer])

Graph: e edges, v vertices
    AdjacencyList:
        at most: v*((v*sizeOf(vertexDataType))+(e*sizeOf(pointer))) fully connected graph
        at least: v*sizeOf(vertexDataType) disconnected graph
    AdjacencyMatrix:
        v^2*sizeOf(int)

Answer 4

这是一个简单的程序，它只消耗 RAM：

import java.util.*;
/**
    RamInit (c) GPLv3

    @author Stefan Wagner
    @date Do 22. Mär 08:40:40 CET 2012

*/
public class RamInit
{
    private java.lang.Object consumer; 

    public RamInit (char type, int size)
    {
        switch (type) 
        {
            case 'a': Integer [] ai = new Integer [size]; 
                for (int i = 0; i < size; ++i) 
                    ai[i] = i; 
                consumer = ai; 
                break;
            case 'l': List<Integer> li = new ArrayList<Integer> (); 
                for (int i = 0; i < size; ++i) 
                    li.add (i); 
                consumer = li;
                break;
            case 'h': HashMap <Integer, Integer> hm = new HashMap <Integer, Integer> (); 
                for (int i = 0; i < size; ++i) 
                    hm.put (i, size - i); 
                consumer = hm;
                break;
            case 'L': LinkedList <Integer> ll = new LinkedList <Integer> (); 
                for (int i = 0; i < size; ++i) 
                    ll.add (i);     
                consumer = ll;          
                break;
            default: System.err.println ("invalid: " + type);
        }
    }

    public static void main (String args[])
    {
        char type = 'a';
        int size = 1000000; // 1M
        if (args.length == 2)
        {
            type = args[0].charAt (0);
            size = Integer.parseInt (args[1]);
        }
        try {
            new RamInit (type, size);
        }
        catch (OutOfMemoryError oome)
        {
            System.exit (1);
        }
    }
}

这是一个非常简单的脚本来测试它：

#!/bin/bash

iterProg () {
ram=$1
maxram=$2 
typ=$3
size=$4
# echo java -Xmx${ram}M RamInit $typ $((size*1000*1000)) 
echo -n "." 
java -Xmx${ram}M RamInit $typ $((size*1000*1000)) && echo -en "\n"$typ $size ${ram}M || { 
    if (($ram==$maxram))
    then
        # echo "fail" 
        return 
    else 
        iterProg $((ram+1)) $maxram $typ $size 
    fi
    }
}

# try from 16 MB to 256
for typ in {a,l,h,L}; do 
  for size in {1,2,4}; do 
    iterProg $((size*17+1)) 256 $typ $size 
  done
done

它是一个原始迭代器，应该用更复杂的东西代替 - 例如，如果你需要 37MB 来调用带有 Collection a 和 1M 元素的 RamInit，你应该从 2M 元素开始。

并且你应该在二分搜索中选择步骤，例如如果 20M 太少，检查 128，然后是 (20+128)/2，然后是平均值，这取决于成功或失败，下限或上限。

由于 HashMap 每个元素存储 2 个 Int，它可以从 List/Array/Vector 的大约两倍大小开始。然而——时光荏苒，边写边写：

bash iterRamFind.sh 
..
a 1 19M.....
a 2 39M...............
a 4 83M..
l 1 19M.......
l 2 41M.......................
l 4 91M..............................................
h 1 63M.............................................................................................
h 2 127M...........................................................................................................................................................................................
h 4 255M......................
L 1 39M.................................................
L 2 83M...............................................................................................
L 4 163

值 17 可以从第一次实验中得到解释。 正如我们所看到的，尺寸几乎以线性方式增加。

修改代码以检查您使用 Longs 的影响，这取决于您 - 我猜您将以 2 倍结束。

Answer 5

Infoq, there is a presentationinfoq-11-nov-jvmperformance.mp3 来自 Twitter 上的一名工作人员：Pdf-slides、Audio:mp3 和 Video。

它处理了很多关于集合和 JVM 中对象大小的其他细节。