计算数组中的不同值 - 性能提示

Question

我在优化 go 地图时遇到了一些问题。
我想在字符串数组中生成一个频率表（计算不同的出现次数）。我的代码非常适合小型数组，但是当我开始使用 100k+ 结构（具有许多不同的值）时，它的性能还不够。

现在，我的方法是生成一个具有不同值的数组，比较值并增加计数器变量（映射到字符串）。

    counter := make( map[string]int )    
    for _, distinct := range distinctStrArray{
        for _, row := range StrArray{
            if (row == distinct){
                counter[distinct]++
            }  
        } 
    }

我尝试了另一种方法，其中输入数组之前已排序（以尽量减少对地图的更改次数）。这有点快。

    count:=0
    for _, distinct := range distinctStrArray{
        for _, row := range StrArray{
            if (row == distinct){
                count++
            }  
        } 
    counter[distinct] += count
    count= 0
    } 

你对我可以做些什么来优化一个简单的 count(distinct) 类型问题有什么建议吗...？我对任何事情都持开放态度。
谢谢！

Answer 1

如果没有更多上下文，我会转储不同值的单独数组 - 生成它需要时间，并且使用它需要嵌套循环。假设第二个数组没有其他用途，我会使用类似的东西：

counter := make( map[string]int )    
for _, row := range StrArray {
    counter[row]++
} 

如果您出于某些单独目的需要不带计数的不同字符串列表，您可以在之后轻松获得它：

distinctStrings := make([]string, len(counter))
i := 0
for k := range counter {
    distinctStrings[i] = k
    i++
}

迭代不同字符串的数组是 O(n)，而按键访问 map 是 O(log(n))。这将你的整体从 O(n^2) 带到 O(n*log(n))，这对于更大的数据集应该是一个显着的改进。但是，与任何优化一样：测试、测量、分析、优化。