在 1000 万行中查找记录

Question

我有一个逗号分隔格式的文本文件。每行有两列，每列都有整数值。喜欢

12334,23433
23234,45663
234422,324545
324543,23433
143233,23433
.....

重复第二列中的值。我需要完成的是找到第一列中第二列具有相同值的所有值并将它们表示为一行。就像上面的数据：

23433 12334,324543,143233
45663 23234
324545 234422

我所做的如下：

1. 使用逗号 (,) 将文本文件导入 SQL Server 表 分隔符。
2. 从每行代码中读取文本文件。
3. 以逗号 (,) 为基础分割行并使用第二列值发送 查询 SQL 表。
4. 将结果存储在字典数据结构中，其中键是第二列 并将所有结果连接到第一列值。
5. 处理完毕，遍历字典，写入文件。

这肯定花费了太多时间。我已经用 C# 编写了代码。 T-SQL 中的任何解决方案都可以正常工作。

任何优化它的帮助。

Answer 1

只要数据很小，在纯 C# 中执行此操作应该既快速又简单。无需将 CSV 文件拉入 SQL 数据库。

只要文件适合您的 RAM，最大的成本应该是 IO，而不是处理。如果有 1000 万行，该文件应该有大约 100 MB，并且可能需要一秒钟的时间来处理。

var lines = File.ReadLines(inputFilename);

var table = lines.Select(line => line.Split(','));
var groups = table.GroupBy(columns => columns[1]);
var output = groups.Select(g => g.Key + " " + string.Join(",", g.Select(columns=>columns[0])));

File.WriteAllLines(outputFilename, output);

Answer 2

只需使用 order by 一次处理一个 col2

select col1, col2 
from table  
order by col2, col1

然后当你得到 col2 的新值时写出该行

Int col2Last = 0;  // assume 0 is not a valid value
StringBuilder sb = new string builder();

    while (rdr.read());
    {
        col1 = rdr.GetInt(0);
        col2 = rdr.GetInt(1);
        if(col2 != col2Last and col2Last !=0)
        {
             Console.WriteLine(col2Last.ToString() + " " + sb.ToString());
             sb.clear();
        }
        if (sb.Lenght > 0) sb.Append(",");
        sb.Append(col1.ToString());
        col2Last = col2;
    }
    Console.WriteLine(col2Last.ToString() + " " + sb.ToString());

Answer 3

如果您已经将数据导入表格，为什么不尝试这种方式：

declare @t table(c1 int, c2 int)
insert into @t values
(12334,23433),
(23234,45663),
(234422,324545),
(324543,23433),
(143233,23433)

select c2, replace((select cast(c1 as varchar) as 'data()' from @t where c2=t.c2 for xml path('')),' ',', ')
from 
@t t
group by c2