水平数据转换成垂直

Question

我有水平表（Table1），我需要将其转换为（Table2）

表 1：

CEO     SALESMAN    PRODUCT(1)  PRODUCT(2)  PRODUCT(3)  PRODUCT(4)  PRODUCT(5)  ... PRODUCT(N)
------  ----------  ----------  ----------  ----------  ----------  ----------      ----------
MIKE    ANDERSON    76787,00    19388,00    0,00        2723,00     217,00          6581,00
JOHN    ANGELA      0,00        0,00        73088,00    0,00        0,00            0,00
JACK    JEFF        24716,00    0,00        2995,00     0,00        0,00            0,00
STUART  MICHAEL     0,00        23338,00    42656,00    0,00        0,00            0,00

表 2：

CEO     SALESMAN    PRODUCTS    VALUE
------- ----------- ----------  --------
MIKE    ANDERSON    PRODUCT(1)  76787,00
JOHN    ANGELA      PRODUCT(1)  0,00
JACK    JEFF        PRODUCT(1)  24716,00
STUART  MICHAEL     PRODUCT(1)  0,00
MIKE    ANDERSON    PRODUCT(2)  19388,00
JOHN    ANGELA      PRODUCT(2)  0,00
JACK    JEFF        PRODUCT(2)  0,00
STUART  MICHAEL     PRODUCT(2)  23338,00
MIKE    ANDERSON    PRODUCT(3)  0,00
JOHN    ANGELA      PRODUCT(3)  73088,00
JACK    JEFF        PRODUCT(3)  2995,00
STUART  MICHAEL     PRODUCT(3)  42656,00
MIKE    ANDERSON    PRODUCT(4)  2723,00
JOHN    ANGELA      PRODUCT(4)  0,00
JACK    JEFF        PRODUCT(4)  0,00
STUART  MICHAEL     PRODUCT(4)  0,00
MIKE    ANDERSON    PRODUCT(5)  217,00
JOHN    ANGELA      PRODUCT(5)  0,00
JACK    JEFF        PRODUCT(5)  0,00
STUART  MICHAEL     PRODUCT(5)  0,00
MIKE    ANDERSON    ...     ...
JOHN    ANGELA      ...     ...
JACK    JEFF        ...     ...
STUART  MICHAEL     ...     ...
MIKE    ANDERSON    PRODUCT(N)  6581,00
JOHN    ANGELA      PRODUCT(N)  0,00
JACK    JEFF        PRODUCT(N)  0,00
STUART  MICHAEL     PRODUCT(N)  0,00

到目前为止，我尝试的是将 Table1 批量插入到临时表中，然后处理这些数据，直到我得到我想要的。问题是 PRODUCT() 列中的 N 是可变的，因此我无法创建具有固定列的临时表，我需要一个动态查询，以某种方式可以读取产品列的数量并使用它。

批量插入

BULK INSERT #temp
FROM '\\path\file.csv'
WITH
(
FIRSTROW = 1,
FIELDTERMINATOR= ';',
ROWTERMINATOR = '\n',
CODEPAGE='RAW'
);

临时表：

CREATE TABLE    #temp(
col1    varchar(100)    null,
col2    varchar(100)    null,
col3    varchar(100)    null,
col4    varchar(100)    null,
col5    varchar(100)    null,
...
col397  varchar(100)    null,
col398  varchar(100)    null,
col399  varchar(100)    null,
col400  varchar(100)    null
)

当我运行 BULK INSERT 时出现此错误：

Msg 4832, Level 16, State 1, Line 1
Bulk load: An unexpected end of file was encountered in the data file.
Msg 7399, Level 16, State 1, Line 1
The OLE DB provider "BULK" for linked server "(null)" reported an error. The provider did not give any information about the error.
Msg 7330, Level 16, State 2, Line 1
Cannot fetch a row from OLE DB provider "BULK" for linked server "(null)".

发生这种情况是因为我创建了一个固定 400 列的临时表，并且有 127 个产品列。

我试图避免这样的事情：

DECLARE @NUM_ROWS INT

SET     @NUM_ROWS = 123

IF @NUM_ROWS = 1
BEGIN
CREATE TABLE    #temp(
col1    varchar(100)    null
)
END

IF @NUM_ROWS = 2
BEGIN
CREATE TABLE    #temp(
col1    varchar(100)    null,
col2    varchar(100)    null,
)
END

...

IF @NUM_ROWS = 400
BEGIN
CREATE TABLE    #temp(
col1    varchar(100)    null,
col2    varchar(100)    null,
...
col4    varchar(100)    null,
)
END

BULK INSERT #temp
FROM '\\path\file.csv'
WITH
(
FIRSTROW = 1,
FIELDTERMINATOR= ';',
ROWTERMINATOR = '\n',
CODEPAGE='RAW'
);

@NUM_ROWS 将是我将创建临时表的列数。

有谁知道我可以将此 .csv 文件动态导入 SQL Server 的方法吗？动态我的意思是创建一个临时表，其中包含我批量插入的 PRODUCTS 列数。或者避免我在上面发布的错误的解决方法。

Answer 1

这是一种有点手动的方法：

1. 用 Excel 打开 .csv 文件
2. 将 400 个列名添加到第一行。当然，它们不必是字段的实际名称。只是占位符。这样，当您重新保存文件时，该文件将有 400 列。 （我称之为手动方法，但您可以使用 VBA 脚本自动执行此操作）

从这里开始，全是 SQL：

1. 使用标准批量插入，将其导入到具有 400 列的临时表中。
2. 使用以下方式将数据插入 table2：

Insert into Table2
Select CEO, Salesmen, 1 as ProductNum, [Product(1)] from Table1 where [Product(1)] is not null
union
Select CEO, Salesmen, 2 as ProductNum, [Product(2)] from Table1 where [Product(2)] is not null
...
union
Select CEO, Salesmen, 400 as ProductNum, [Product(400)] from Table1 where [Product(400)] is not null

当然，这 400 行会很难看，但您可以轻松阅读并从 1 数到 400。

Answer 2

如果您将 CSV 打开到 Excel 中，然后再次将其另存为 CSV，那么它会将其格式化为具有固定数量的列。

您可以使用循环和动态 SQL 创建临时表

declare @sql nvarchar(max), @numcols int = 8

select @sql = ''
declare @i int = 1

select @sql = @sql + ', c' + convert(varchar(5), number) + ' varchar(10) ' 
from master..spt_values 
where type='p' and number between 1 and @numcols

select @sql = 'create table ##temp (' + substring(@sql, 3, len(@sql)) + ')'
select @sql

exec sp_executeSQl @sql

BULK INSERT ##temp  
FROM '\\path\file.csv'  
WITH  
(  
FIRSTROW = 1,  
FIELDTERMINATOR= ';',  
ROWTERMINATOR = '\n',  
CODEPAGE='RAW'  
);  

从那里您只需应用 Unpivot 将表格从列转换为行。