寻找重复序列

Question

我需要帮助来找到合适的算法来解决我的目标。

假设我有一个包含 10000 条关于某些事件的记录的数据集。我有 50 种事件类型，因此我的数据集中的每条记录都分配了一些事件（从 1 到 50）。

我的数据集示例（2 列：记录号、事件号）：

1. 13
2. 24
3. 6
4. 50
5. 24
6. 6
...
10000. 46

正如您在此示例中所见，我有一个数字 24、6 的重复序列。现在我想找出我的数据集中有多少这些以及其他未知序列。我也想知道每个序列的多重性。我检查了 Rabin–Karp 算法，但在我看来，我必须先指定模式/序列。但是我希望该算法能够自行找到它。

我被告知还要查看层次聚类，但我不确定它是否符合我的要求。

总而言之，我想找到一种算法，可以在上述数据集中找到所有重复序列及其多重性。

Answer 1

我假设您将这些数据保存在与您提供的结构相同的文本文件中， 我使用 LINQ 对每个值进行分组和计数，如下代码所示：

static void Main(string[] args)
    {
        //read lines from the text file
        var arr = File.ReadAllLines("dataset.txt").AsQueryable();
        //convert the data to List<object> by convert each line to anonymous object
        var data = arr.Select(line => new { Index = line.Split('.')[0], Value = line.Split('.')[1] });
        //group the data by the value and then select the value and its count
        var res = data.GroupBy(item => item.Value).Select(group => new { Value = group.First().Value, Count = group.Count() });
        //printing result
        Console.WriteLine("Value\t\tCount");
        foreach (var item in res)
        {
            Console.WriteLine("{0}\t\t{1}",item.Value,item.Count);
        }
        Console.ReadLine();
    }

The result of previous code

希望对你有所帮助。