【发布时间】：2013-05-12 20:26:21
【问题描述】：
我们的应用程序使用了大量的字典，这些字典具有不经常更改的多级查找。我们正在研究将一些使用字典进行大量查找的关键代码转换为使用替代结构来实现 - 更快的查找，内存/gc 的轻量级。这使我们可以比较各种可用的字典/库 -
Dictionary(System.Collections.Generics.Dictionary-SCGD)、ImmutableDictionary、C5.HashDictionary、FSharpMap。
运行以下程序并使用各种项目计数 - 100、1000、10000、100000 - 表明 Dictionary 在大多数范围内仍然是赢家。第一行表示集合中的项目。 MS/Ticks 将随机执行 x 次查找所花费的时间（代码如下）。
项目 - 100
SCGD - 0 MS - 50 滴答声
C5 - 1 MS - 1767 蜱
Imm - 4 MS - 5951 蜱
FS - 0 MS - 240 滴答声
项目 - 1000
SCGD - 0 MS - 230 滴答声
C5 - 0 MS - 496 滴答声
Imm - 0 MS - 1046 滴答声
FS - 1 MS - 1870 滴答声
项目 - 10000
SCGD - 3 MS - 4722 蜱
C5 - 4 MS - 6370 蜱
Imm - 9 MS - 13119 蜱
FS - 15 MS - 22050 滴答声
项目 - 100000
SCGD - 62 MS - 89276 滴答声
C5 - 72 MS - 103658 刻度
Imm - 172 MS - 246247 滴答声
FS - 249 MS - 356176 滴答声
这是否意味着，我们已经在使用最快且无需更改？我曾假设不可变结构应该位于表的顶部，但事实并非如此。我们是在做错误的比较还是我错过了什么？一直在坚持这个问题，但觉得最好问一下。任何链接或注释或任何能引起注意的参考都会很棒。
完整的测试代码 -
namespace CollectionsTest
{
using System;
using System.Collections.Generic;
using System.Collections.Immutable;
using System.Diagnostics;
using System.Linq;
using System.Text;
using System.Runtime;
using Microsoft.FSharp.Collections;
/// <summary>
///
/// </summary>
class Program
{
static Program()
{
ProfileOptimization.SetProfileRoot(@".\Jit");
ProfileOptimization.StartProfile("Startup.Profile");
}
/// <summary>
/// Mains the specified args.
/// </summary>
/// <param name="args">The args.</param>
static void Main(string[] args)
{
// INIT TEST DATA ------------------------------------------------------------------------------------------------
foreach (int MAXITEMS in new int[] { 100, 1000, 10000, 100000 })
{
Console.WriteLine("\n# - {0}", MAXITEMS);
List<string> accessIndex = new List<string>(MAXITEMS);
List<KeyValuePair<string, object>> listofkvps = new List<KeyValuePair<string, object>>();
List<Tuple<string, object>> listoftuples = new List<Tuple<string, object>>();
for (int i = 0; i < MAXITEMS; i++)
{
listoftuples.Add(new Tuple<string, object>(i.ToString(), i));
listofkvps.Add(new KeyValuePair<string, object>(i.ToString(), i));
accessIndex.Add(i.ToString());
}
// Randomize for lookups
Random r = new Random(Environment.TickCount);
List<string> randomIndexesList = new List<string>(MAXITEMS);
while (accessIndex.Count > 0)
{
int index = r.Next(accessIndex.Count);
string value = accessIndex[index];
accessIndex.RemoveAt(index);
randomIndexesList.Add(value);
}
// Convert to array for best perf
string[] randomIndexes = randomIndexesList.ToArray();
// LOAD ------------------------------------------------------------------------------------------------
// IMMU
ImmutableDictionary<string, object> idictionary = ImmutableDictionary.Create<string, object>(listofkvps);
//Console.WriteLine(idictionary.Count);
// SCGD
Dictionary<string, object> dictionary = new Dictionary<string, object>();
for (int i = 0; i < MAXITEMS; i++)
{
dictionary.Add(i.ToString(), i);
}
//Console.WriteLine(dictionary.Count);
// C5
C5.HashDictionary<string, object> c5dictionary = new C5.HashDictionary<string, object>();
for (int i = 0; i < MAXITEMS; i++)
{
c5dictionary.Add(i.ToString(), i);
}
//Console.WriteLine(c5dictionary.Count);
// how to change to readonly?
// F#
FSharpMap<string, object> fdictionary = new FSharpMap<string, object>(listoftuples);
//Console.WriteLine(fdictionary.Count);
// TEST ------------------------------------------------------------------------------------------------
Stopwatch sw = Stopwatch.StartNew();
for (int index = 0, indexMax = randomIndexes.Length; index < indexMax; index++)
{
string i = randomIndexes[index];
object value;
dictionary.TryGetValue(i, out value);
}
sw.Stop();
Console.WriteLine("SCGD - {0,10} MS - {1,10} Ticks", sw.ElapsedMilliseconds, sw.ElapsedTicks);
Stopwatch c5sw = Stopwatch.StartNew();
for (int index = 0, indexMax = randomIndexes.Length; index < indexMax; index++)
{
string key = randomIndexes[index];
object value;
c5dictionary.Find(ref key, out value);
}
c5sw.Stop();
Console.WriteLine("C5 - {0,10} MS - {1,10} Ticks", c5sw.ElapsedMilliseconds, c5sw.ElapsedTicks);
Stopwatch isw = Stopwatch.StartNew();
for (int index = 0, indexMax = randomIndexes.Length; index < indexMax; index++)
{
string i = randomIndexes[index];
object value;
idictionary.TryGetValue(i, out value);
}
isw.Stop();
Console.WriteLine("Imm - {0,10} MS - {1,10} Ticks", isw.ElapsedMilliseconds, isw.ElapsedTicks);
Stopwatch fsw = Stopwatch.StartNew();
for (int index = 0, indexMax = randomIndexes.Length; index < indexMax; index++)
{
string i = randomIndexes[index];
fdictionary.TryFind(i);
}
fsw.Stop();
Console.WriteLine("FS - {0,10} MS - {1,10} Ticks", fsw.ElapsedMilliseconds, fsw.ElapsedTicks);
}
}
}
}
【问题讨论】：
-
似乎要编写一个公平的测试，您需要使其成为多线程，这是不可变集合的预期用途。使用 lock() 或 RWLockSlim 比较不可变与并发以及与您自己的锁定方案。
标签： c# performance dictionary f# immutability