【发布时间】：2012-05-13 15:15:06
【问题描述】：
我想将 csv 文件数据从 c# 代码批量上传到 sql server 2005 但我遇到以下错误 -
从 bcp 客户端收到的 colid 6 的列长度无效。
当批量复制写入数据库服务器时
【问题讨论】：
标签： c# .net sql-server database sql-server-2005
【发布时间】：2012-05-13 15:15:06
【问题描述】：
我知道这篇文章很旧，但我遇到了同样的问题，最后找到了一个解决方案来确定是哪一列导致了问题，并根据需要报告回来。我确定 SqlException 中返回的 colid 不是从零开始的，因此您需要从中减去 1 才能获得该值。之后，它用作 SqlBulkCopy 实例的 _sortedColumnMappings ArrayList 的索引，而不是添加到 SqlBulkCopy 实例的列映射的索引。需要注意的一点是 SqlBulkCopy 将在收到第一个错误时停止，因此这可能不是唯一的问题，但至少有助于解决这个问题。
try
{
bulkCopy.WriteToServer(importTable);
sqlTran.Commit();
}
catch (SqlException ex)
{
if (ex.Message.Contains("Received an invalid column length from the bcp client for colid"))
{
string pattern = @"\d+";
Match match = Regex.Match(ex.Message.ToString(), pattern);
var index = Convert.ToInt32(match.Value) -1;
FieldInfo fi = typeof(SqlBulkCopy).GetField("_sortedColumnMappings", BindingFlags.NonPublic | BindingFlags.Instance);
var sortedColumns = fi.GetValue(bulkCopy);
var items = (Object[])sortedColumns.GetType().GetField("_items", BindingFlags.NonPublic | BindingFlags.Instance).GetValue(sortedColumns);
FieldInfo itemdata = items[index].GetType().GetField("_metadata", BindingFlags.NonPublic | BindingFlags.Instance);
var metadata = itemdata.GetValue(items[index]);
var column = metadata.GetType().GetField("column", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
var length = metadata.GetType().GetField("length", BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance).GetValue(metadata);
throw new DataFormatException(String.Format("Column: {0} contains data with a length greater than: {1}", column, length));
}
throw;
}【讨论】：
-
这个效果非常好，谢谢提交。
-
你知道是否也可以得到row nr吗？
-
DataFormatException 是一个自定义异常，因此我可以将问题报告为无效的列长度。我还没有弄清楚如何获取行号。
-
很好的解决方案，唯一缺少的是在 catch sqlTran.RollBack();
-
对大多数人来说可能是显而易见的，但 “SqlException 中返回的 colid 不是从零开始的” 帮助我解决了这个问题。
excel 中的一个数据列（列 ID 6）有一个或多个单元格数据超过数据库中的 datacolumn 数据类型长度。
验证excel中的数据。还要验证 excel 中数据的格式是否符合数据库表架构。
为避免这种情况，请尝试超过数据库表中字符串数据类型的数据长度。
希望这会有所帮助。
【讨论】：
-
具体来说，如果您有任何 VARCHAR 小于 4 的列，请注意数据中的 NULL 被误解为 4char 字符串“NULL”
-
@CrazyPyro 我的赞成票。由于您在上面的评论中提到的内容，我遇到了同样的错误。我将列的数据类型从 varchar(3) 更改为 varchar(5)，错误消失了。该列确实具有 NULL 值。感谢您分享您的想法。
我在使用 SQL BulkCopy 选项将字符串传递给数据库表时遇到了类似的问题。我传递的字符串是 3 个字符，而目标列的长度是 varchar(20)。我尝试使用Trim() 函数在插入数据库之前修剪字符串，以检查问题是否是由于字符串中的任何空格（前导和尾随）造成的。修剪字符串后，它工作正常。
你可以试试text.Trim()
【讨论】：
-
太好了，非常感谢！这也是我的情况的确切原因 - 尾随空格，因此超出了列长度。
-
如果字符串可能为空，使用 text?.Trim()
检查您正在执行批量插入/复制的表中列的大小。 varchar 或其他字符串列可能需要扩展，或者您插入的值需要修剪。列顺序也应与表中相同。
例如，将 varchar 列的大小从 30 增加到 50 =>
更改表 [dbo].[表名] ALTER COLUMN [ColumnName] Varchar(50)
【讨论】：
很棒的一段代码，感谢分享！
我最终使用反射来获取实际的 DataMemberName，以便在出现错误时返回给客户端（我在 WCF 服务中使用批量保存）。希望其他人会发现我的做法很有用。
static string GetDataMemberName(string colName, object t) {
foreach(PropertyInfo propertyInfo in t.GetType().GetProperties()) {
if (propertyInfo.CanRead) {
if (propertyInfo.Name == colName) {
var attributes = propertyInfo.GetCustomAttributes(typeof(DataMemberAttribute), false).FirstOrDefault() as DataMemberAttribute;
if (attributes != null && !string.IsNullOrEmpty(attributes.Name))
return attributes.Name;
return colName;
}
}
}
return colName;
}【讨论】：
-
如何实现？
我收到了这个错误消息，它使用了更新的 ssis 版本（与 2015 企业版相比，我认为它是 ssis 2016）。我将在这里发表评论，因为这是您在谷歌上搜索此错误消息时出现的第一个参考。我认为当源字符大小大于目标字符大小时，它主要发生在字符列中。当我使用 ado.net 从 teradata 数据库输入 ms sql 时收到此消息。有趣的是，先前的 oledb 写入 ms sql 完美地处理了所有字符转换，没有编码覆盖。 colid 编号和相应的 Destination Input 列 # 您有时会从 colid 消息中获得，这些都是毫无价值的。当您从映射顶部倒数或类似的东西时，它不是列。如果我是微软，我会很尴尬地给出一条错误消息，看起来好像它指向问题列，但实际上并非如此。我通过有根据的猜测发现了问题，然后将映射的输入更改为“忽略”，然后重新运行并查看消息是否消失。在我的情况和我的环境中，我通过 substr( 将 Teradata 输入修复为输出列的 ms sql 声明的字符大小。检查并确保您的输入 substr 通过所有数据转换和映射传播。在我的如果没有，我不得不删除我所有的数据转换和映射并重新开始。再次有趣的是 OLEDB 刚刚处理了它，ADO.net 抛出了错误并且必须进行所有这些干预才能使其正常工作。一般来说，你当你的目标是 MS Sql 时应该使用 OLEDB。
【讨论】：
我只是偶然发现了这一点，并使用@b_stil 的 sn-p，我能够找出罪魁祸首。在进一步的调查中，我认为我需要像@Liji Chandran 建议的那样修剪列，但我使用的是 IExcelDataReader，我无法找到一种简单的方法来验证和修剪我的 160 列中的每一列。
然后我偶然发现了CSVReader 中的this class, (ValidatingDataReader) 类。
这个类的有趣之处在于它为您提供了源列和目标列的数据长度、罪魁祸首行，甚至是导致错误的列值。
我所做的只是修剪所有（nvarchar、varchar、char 和 nchar）列。
我刚刚将我的 GetValue 方法更改为：
object IDataRecord.GetValue(int i)
{
object columnValue = reader.GetValue(i);
if (i > -1 && i < lookup.Length)
{
DataRow columnDef = lookup[i];
if
(
(
(string)columnDef["DataTypeName"] == "varchar" ||
(string)columnDef["DataTypeName"] == "nvarchar" ||
(string)columnDef["DataTypeName"] == "char" ||
(string)columnDef["DataTypeName"] == "nchar"
) &&
(
columnValue != null &&
columnValue != DBNull.Value
)
)
{
string stringValue = columnValue.ToString().Trim();
columnValue = stringValue;
if (stringValue.Length > (int)columnDef["ColumnSize"])
{
string message =
"Column value \"" + stringValue.Replace("\"", "\\\"") + "\"" +
" with length " + stringValue.Length.ToString("###,##0") +
" from source column " + (this as IDataRecord).GetName(i) +
" in record " + currentRecord.ToString("###,##0") +
" does not fit in destination column " + columnDef["ColumnName"] +
" with length " + ((int)columnDef["ColumnSize"]).ToString("###,##0") +
" in table " + tableName +
" in database " + databaseName +
" on server " + serverName + ".";
if (ColumnException == null)
{
throw new Exception(message);
}
else
{
ColumnExceptionEventArgs args = new ColumnExceptionEventArgs();
args.DataTypeName = (string)columnDef["DataTypeName"];
args.DataType = Type.GetType((string)columnDef["DataType"]);
args.Value = columnValue;
args.SourceIndex = i;
args.SourceColumn = reader.GetName(i);
args.DestIndex = (int)columnDef["ColumnOrdinal"];
args.DestColumn = (string)columnDef["ColumnName"];
args.ColumnSize = (int)columnDef["ColumnSize"];
args.RecordIndex = currentRecord;
args.TableName = tableName;
args.DatabaseName = databaseName;
args.ServerName = serverName;
args.Message = message;
ColumnException(args);
columnValue = args.Value;
}
}
}
}
return columnValue;
}
希望这对某人有所帮助
【讨论】：