生成两个非重复数字数组

Question

我有以下代码，它根据一个比率生成两个不重复的整数数组。代码完美运行，但对于 4000 行文件，这需要一些时间。

//Train & Test numbers
int train = (int)(((double)Settings.Default.TrainingRatio / 100) * inputLines.Count());
int test = inputLines.Count() - train;

//Train & Test list
Random rnd = new Random();
var trainList = Enumerable.Range(1, inputLines.Count()).OrderBy(x => rnd.Next()).Take(train).ToList();
var testList = new List<int>();
for (int i = 1; i <= inputLines.Count(); i++)
{
    if (!trainList.Contains(i))
        testList.Add(i);
}

更糟糕的是，这就是我阅读这些行的方式：

foreach (var n in trainList)
{
    objDataintilizer.GenerateMasterLableFile(inputLines.Skip(n - 1).Take(1).First().ToString());
}

任何人都可以建议另一种可能具有更好性能的方法。

Answer 1

每次您的代码调用inputFiles.Count()，您实际上是在重新读取整个文件，因为File.ReadLines 正在使用延迟执行，而您并没有具体化它。由于无论如何您都需要内存中的整个列表，因此请改用 File.ReadAllLines，它返回一个 string[] 并具有一个 Length 属性，这是一个 O(1) 操作而不是 O(N)。

然后，不要为您的trainList 使用List<int>，而是使用HashSet<int>，这样使用Contains 查找会更快：

public static class EnumerableExtensions
{
    public static HashSet<T> ToHashSet(this IEnumerable<T> enumerable)
    {
        return new HashSet<T>(enumerable);
    }
}

Random rnd = new Random();
var trainList = Enumerable.Range(1, inputLines.Length)
                          .OrderBy(x => rnd.Next())
                          .Take(train)
                          .ToHashSet();

var testList = new List<int>();
for (int i = 1; i <= inputLines.Length; i++)
{
    if (!trainList.Contains(i))
        testList.Add(i);
}