Java中的大量对象（带有HashMap）

Question

你好，

我目前正在使用 Java 进行单词预测。 为此，我使用的是基于 NGram 的模型，但我有一些内存问题...

我第一次有这样的模型：

public class NGram implements Serializable {
    private static final long serialVersionUID = 1L;

    private transient int count;
    private int id;
    private NGram next;

    public NGram(int idP) {
        this.id = idP;
    }
}

但这需要很多内存，所以我认为我需要优化，我想如果我有“hello the world”和“hello the people”，而不是得到两个 ngram，我可以保留一个保留“Hello the”然后有两种可能：“people”和“world”。

更清楚地说，这是我的新模型：

public class BNGram implements Serializable {
    private static final long serialVersionUID = 1L;
    private int id;
    private HashMap<Integer,BNGram> next;
    private int count = 1;

    public BNGram(int idP) {
        this.id = idP;
        this.next = new HashMap<Integer, BNGram>();
    }
}

但似乎我的第二个模型消耗了两倍的内存......我认为这是因为 HashMap，但我不知道如何减少这个？我尝试使用不同的 Map 实现，例如 Trove 或其他，但它并没有改变任何东西。

给你一个想法，对于一个 9MB 的文本，有 57818 个不同的单词（不同，但不是单词的总数），在 NGram 生成之后，我的 javaw 进程消耗了 1.2GB 的内存...... 如果我用 GZIPOutputStream 保存它，它会占用大约 18MB 的磁盘空间。

所以我的问题是：我怎样才能使用更少的内存？我可以用压缩（作为序列化）制作一些东西吗？ 我需要将此添加到其他应用程序中，因此我需要减少内存使用之前...

非常感谢，抱歉我的英语不好......

ZiMath

Answer 1

你需要一个专门的结构来实现你想要的。

看看Apache's PatriciaTrie。它就像Map，但它是内存方面的，并且可以与Strings 一起使用。它也非常快：操作是O(k)，k 是最大密钥的位数。

它有一个适合您即时需求的操作：prefixMap()，它返回包含 Strings 的特里树的 SortedMap 视图，该树以给定键为前缀。

一个简短的使用示例：

public class Patricia {

    public static void main(String[] args) {

        PatriciaTrie<String> trie = new PatriciaTrie<>();

        String world = "hello the world";
        String people = "hello the people";

        trie.put(world, null);
        trie.put(people, null);

        SortedMap<String, String> map1 = trie.prefixMap("hello");
        System.out.println(map1.keySet());  // [hello the people, hello the world]

        SortedMap<String, String> map2 = trie.prefixMap("hello the w");
        System.out.println(map2.keySet()); // [hello the world]

        SortedMap<String, String> map3 = trie.prefixMap("hello the p");
        System.out.println(map3.keySet());  // [hello the people]
    }
}

还有the tests，里面有更多例子。

Answer 2

在这里，我主要是想解释为什么您观察到如此过多的内存消耗，以及您可以对此做些什么（如果您想坚持HashMap) :

使用默认构造函数创建的HashMap 的初始容量为 16。这意味着它将有空间容纳 16 个条目，即使它是空的。此外，无论是否需要，您似乎都在创建地图。

所以在你的情况下减少内存消耗的方法是

• 仅在必要时创建地图
• 使用较小的初始容量创建它

应用于您的课程，大致如下所示：

public class BNGram {
    private int id;
    private Map<Integer,BNGram> next;

    public BNGram(int idP) {
        this.id = idP;
        // (Do not create a new `Map` here!)
    }

    void doSomethingWhereTheMapIsNeeded(Integer key, BNGram value) {

        // Create a map, when required, with an initial capacity of 1
        if (next == null) {
            next = new HashMap<Integer, BNGram>(1);
        }
        next.put(key, value);
    }
}

---

但是……

...从概念上讲，拥有一个由许多许多映射组成的大型“树”结构是有问题的，每个映射只有“很少”条目。这表明不同的数据结构在这里更合适。因此，您绝对应该更喜欢answer by Magnamag 中的解决方案，或者（如果这对您不适用，如您的 cmets 中所建议的那样），请寻找替代数据结构 - 甚至可以将其作为一个新问题提出不会受到XY Problem 的影响。