如何在不使用任何其他库的情况下在 java 中计算百分位数

Question

我正在尝试根据我在下面的ConcurrentHashMap 中填充的数据集计算95th Percentile。

我很想知道在 95% 的时间内有多少电话回了电话

我的地图看起来像这样，它总是在键上按升序排序 - 其中

key - means number of milliseconds
value - means number of calls that took that much milliseconds

下面是我的地图数据-

Milliseconds    Number

0               1702
1               15036
2               14262
3               13190
4               9137
5               5635
6               3742
7               2628
8               1899
9               1298
10              963
11              727
12              503
13              415
14              311
15              235
16              204
17              140
18              109
19              83
20              72

例如，从上面的数据集中，它的意思是

1702 个呼叫在 0 毫秒内返回

15036 个电话在 1 毫秒内返回

现在我可以通过将上述数据集插入Excel sheet 来计算第 95 个百分位数。但我正在考虑计算 Java 代码中的百分位数。

我知道算法看起来像这样-

对地图中的所有值求和，计算总和的 95%，迭代地图 以升序排列的键保持值的总和，以及何时 总和等于或超过先前计算的总和的 95%， 我猜关键应该是第 95 个百分位。

下面是包含上述数据集的地图。

Map<Long, Long> histogram = new ConcurrentHashMap<Long, Long>

我不确定我的算法是否也正确。我只是想知道在 95% 的时间内有多少电话回了。

以下是我目前基于上述算法得到的代码。

private static void logPercentileInfo() {

    double total = 0;
    for (Map.Entry<Long, Long> entry : CassandraTimer.histogram.entrySet()) {
        long value = entry.getKey() * entry.getValue();
        total += value;
    }

    double sum = 0.95*total;

    double totalSum = 0;
    for (Map.Entry<Long, Long> entry : CassandraTimer.histogram.entrySet()) {
        totalSum += entry.getValue();

        if(totalSum >= sum) {
        System.out.println(entry.getKey());//this is the 95th percentile I guess
        }
    }
}

如果我从上述数据集中计算第 95 个百分位数时是否一切正确，请告诉我。如果也有任何改进，请告诉我。

更新代码：-

以下是我更新的代码，它解决了键的升序问题

/**
 * A simple method to log 95th percentile information
 */
private static void logPercentileInfo() {

    double total = 0;
    for (Map.Entry<Long, Long> entry : CassandraTimer.histogram.entrySet()) {
        long value = entry.getKey() * entry.getValue();
        total += value;
    }

    double sum = 0.95*total;

    double totalSum = 0;

    SortedSet<Long> keys = new TreeSet<Long>(CassandraTimer.histogram.keySet());
    for (long key : keys) {

        totalSum += CassandraTimer.histogram.get(key);

        if(totalSum >= sum) {
           //this is the 95th percentile I guess
            System.out.println(key);
        }
    }

}

谁能看一下，让我知道我是否正确计算了百分位数？

Answer 1

迭代 ConcurrentHashMap 不会按顺序返回键。您首先需要创建一个排序的键列表，然后在后一个循环中从 histogram 中提取值时对其进行迭代。

Answer 2

根据我对您问题的评论：

由于您使用的是哈希映射，因此您的密钥不会按排序顺序存储。即，如果您在循环中打印出 entry.getKey()，您将看到键不按顺序排列。所以这是你的主要问题。 TeeMap 或 ConcurrentSkipListMap 将保持其键的顺序

更改Map<Long, Long> histogram = new ConcurrentHashMap<Long, Long>

到

Map<Long, Long> histogram = new ConcurrentSkipListMap<Long, Long>()

会给你一个地图，它会按排序顺序返回你的键。

代码中的另一个问题是当你计算你所做的总和时：

total += entry.getKey() * entry.getValue(); // total += key*value

当你第二次计算总和时：

totalSum += CassandraTimer.histogram.get(key); // totalSum += value

我认为您想计算观察总数，然后将其乘以 0.95。这将为您提供低于第 95 个百分位的观察次数。

L = .95 * total_observations

然后遍历您的地图，总结观察次数。一旦观察总数超过L，则对应的键就是第 95 个百分位的值。

private static void logPercentileInfo() {
    double total = 0;
    for (Map.Entry<Long, Long> entry : CassandraTimer.histogram.entrySet()) {
        long value = entry.getValue();
        total += value;
    }

    double sum = 0.95*total;
    double totalSum = 0;

    SortedSet<Long> keys = new TreeSet<Long>(CassandraTimer.histogram.keySet());
    for (long key : keys) {

        totalSum += CassandraTimer.histogram.get(key);

        if(totalSum >= sum) {
           System.out.println(key);
           break;
        }
    }
}