BCP/批量插入失败（制表符分隔文件）

Question

我一直在尝试将数据（制表符分隔）导入 SQL 服务器。源数据是从 IBM Cognos 导出的。数据下载地址：sample data

我尝试过 BCP / 批量插入，但没有帮助。原始数据文件包含一个标题行（需要跳过）。

=================================== 架构：

CREATE TABLE [dbo].[DIM_Assessment](
[QueryType] [nvarchar](4000) NULL,
[QueryDate] [nvarchar](4000) NULL,
[APUID] [nvarchar](4000) NULL,
[AssessmentID] [nvarchar](4000) NULL,
[ICDCode] [nvarchar](4000) NULL,
[ICDName] [nvarchar](4000) NULL,
[LoadDate] [nvarchar](4000) NULL
) ON [PRIMARY]
GO

============================== 使用以下命令生成的格式化文件

bcp [dbname].dbo.dim_assessment format nul -c -f C:\config\dim_assessment.Fmt -S <IP>  -U sa -P Pwd

格式文件内容：

11.0
7
1       SQLCHAR             0       8000    "\t"     1     QueryType                    SQL_Latin1_General_CP1_CI_AS
2       SQLCHAR             0       8000    "\t"     2     QueryDate                    SQL_Latin1_General_CP1_CI_AS
3       SQLCHAR             0       8000    "\t"     3     APUID                        SQL_Latin1_General_CP1_CI_AS
4       SQLCHAR             0       8000    "\t"     4     AssessmentID                 SQL_Latin1_General_CP1_CI_AS
5       SQLCHAR             0       8000    "\t"     5     ICDCode                      SQL_Latin1_General_CP1_CI_AS
6       SQLCHAR             0       8000    "\t"     6     ICDName                      SQL_Latin1_General_CP1_CI_AS
7       SQLCHAR             0       8000    "\r\n"   7     LoadDate                     SQL_Latin1_General_CP1_CI_AS

==============================

我尝试使用 BCP / Bulk Insert 导入数据，但是，它们都不起作用。

bcp [dbname].dbo.dim_assessment IN C:\dim_assessment.dat -f C:\config\dim_assessment.Fmt -S <IP>  -U sa -P Pwd

BULK INSERT dim_assessment FROM '\\dbserver\DIM_Assessment.dat'
WITH (
  DATAFILETYPE = 'char',
  FIELDTERMINATOR = '\t',
  ROWTERMINATOR = '\r\n'
);
GO

提前感谢您的帮助@

Answer 1

您的输入文件格式很糟糕。

您的格式文件和您的BULK INSERT 命令都声明一行的结尾应该是回车和换行的组合，并且有七列数据。但是，如果您在记事本中打开 CSV 文件，您会很快看到在 Windows 中没有正确观察到回车和换行（这意味着它们必须不是精确的 \r\n）。您还可以看到，实际上并不是七列数据，而是五列：

QueryType   QueryDate   APUID   AssessmentID    ICDCode ICDName LoadDate
PPIC    2013-11-20 10:23:14 11431   10963       Tremors
PPIC    2013-11-20 10:23:14 11431   11299       THUMB PAIN
PPIC    2013-11-20 10:23:14 11431   11348       Environmental allergies
...

Just looking at it visually you can tell it isn't right，你需要得到一个更好的源文件，然后才能把它扔到 SQL Server 的墙上并期望它能够顺利处理它：

Answer 2

刚刚将您的文件保存为 .CSV 并使用以下语句批量插入。

BULK INSERT dim_assessment FROM 'C:\Blabla\TestFile.csv'
WITH (
  FIRSTROW = 2,
  FIELDTERMINATOR = ',',
  ROWTERMINATOR = '\n'
);
GO

返回消息

(22587 row(s) affected)

加载的数据

请注意，ICD 名称中的一些数据已溢出到 LoadDate 列，只需使用| 管道字符来分隔并使用与FIELDTERMINATOR = '|' 相同的批量插入语句和快乐的日子。

Answer 3

通过 Excel 打开文件显示如下：

• 确实有7行标题
• 只有前六个被填充
• 第 1、2 和 3 列的值相同
• 有一些令人困惑的数据，其中第五列可以是空的，也可以是用数字填充的，也可以是用文本填充的。

我猜，在这些情况下，批量插入可能无法正常工作。由于 Excel 似乎以非常干净的方式管理您的文件，您应该考虑一个额外的步骤，从 CSV 到 Excel，然后到您的数据库。

Answer 4

好的，因此，将分隔数据从平面文件推送到 SQL Server 是一项看似简单的任务。我认为 BCP 是要走的路（我之前用过，而且很成功）。

对建议的简要说明： 一种。修复源文件 湾。以原生 excel 格式保存源数据 C。将源数据保存为管道分隔数据

我尝试了所有选项，但它在我的流程中添加了多个步骤，但可行。

我偶然发现了来自 powershell 的 invoke-sqlcmd 和 import-csv 命令行开关。原来，我可以直接使用 powershell 导入数据。目前它有点慢，但是，我现在可以忍受。

$DATA=IMPORT-CSV dim_assessment.CSV -Delimiter "`t"

FOREACH ($LINE in $DATA)

{
$QueryType="`'"+$Line.QueryType+"`'"
$QueryDate="`'"+$Line.QueryDate+"`'"
$APUID="`'"+$Line.APUID+"`'"
$AssessmentID="`'"+$Line.AssessmentID+"`'"
$ICDCode="`'"+$Line.ICDCode+"`'"
    $ICDName=$Line.ICDName
    $ICDName = $ICDName.replace("'","''")
$ICDName="`'"+$ICDName+"`'" 
$LoadDate="`'"+$Line.LoadDate+"`'"

$SQLHEADER="INSERT INTO [dim_assessment] ([QueryType],[QueryDate],[APUID],[AssessmentID],[ICDCode],[ICDName],[LoadDate])"
$SQLVALUES="VALUES ($QueryType,$QueryDate,$APUID,$AssessmentID,$ICDCode,$ICDName,$LoadDate)"

$SQLQUERY=$SQLHEADER+$SQLVALUES
Invoke-Sqlcmd –Query $SQLQuery -ServerInstance HA -U sa -P Pwd

}

感谢您的帮助！