sqlbulkcopy - 将字符串转换为 DateTime

Question

我正在使用此代码将 csv 文件插入到我的数据库中：

    private void InsertDataIntoSQLServerUsingSQLBulkCopy(DataTable csvFileData)
    {
        using (SqlConnection dbConnection = new SqlConnection(ConnectionString))
        {
            dbConnection.Open();
            using (SqlBulkCopy s = new SqlBulkCopy(dbConnection))
            {
                s.DestinationTableName = "tablename";
                foreach (var column in csvFileData.Columns)
                    s.ColumnMappings.Add(column.ToString(), column.ToString());
                s.WriteToServer(csvFileData);
            }
        }
    }


    private static DataTable GetDataTabletFromCSVFile(string csv_file_path)
    {
        DataTable csvData = new DataTable();
        try
        {
            using (TextFieldParser csvReader = new TextFieldParser(csv_file_path))
            {
                csvReader.SetDelimiters(new string[] { "," });
                csvReader.HasFieldsEnclosedInQuotes = true;
                string[] colFields = csvReader.ReadFields();
                foreach (string column in colFields)
                {
                    DataColumn datecolumn = new DataColumn(column);
                    datecolumn.AllowDBNull = true;
                    csvData.Columns.Add(datecolumn);

                }
                while (!csvReader.EndOfData)
                {
                    string[] fieldData = csvReader.ReadFields();

                    for (int i = 0; i < fieldData.Length; i++)
                    {
                        if (fieldData[i] == "")
                        {
                            fieldData[i] = null;
                        }
                    }
                    csvData.Rows.Add(fieldData);
                }
            }
        }

我的数据库中有临时数据。为了测试这段代码，我从 SQL 服务器复制了带有标题的字段并将其粘贴到一个 Excel 文件中。然后我将 excel 文件保存到 csv 并运行代码。它完美地将csv中的数据添加到数据库中！

然后我尝试运行一个与我的原始 csv 文件具有相似值的 csv 文件，它给了我一个“String to DateTime”异常。所以我知道日期有问题，我知道 excel 列的值是“日期”。

我真的对这个摸不着头脑。有什么好的方法来解析带有日期的列吗？

Answer 1

我注意到您的代码存在一些问题，可能会给您带来一些麻烦。

1. CSV 文件没有架构验证。您只需获取任何给定的 CSV 文件，并尝试使用它具有的任何列标题将其写入服务器。
2. 创建DataColumn 实例时，默认列类型将为System.String。这可能会导致您的日期出现问题。
3. 我没有看到 CSV 文件中的数据有任何转换。如果您的数据库表中的字段之一是 datetime，并且您尝试批量插入 System.String 列，您将会遇到问题。

我的建议如下：

1. 对 CSV 文件执行架构验证，这样您就知道自己得到了预期的输入。这有两个方面：确保数据采用预期的格式并确保存在预期的列标题。
2. 对于您批量插入的表，创建适合您的 SQL 表的列类型。使用 DataColumn 构造函数的重载来指定列数据类型：new DataColumn("Name", typeof(DateTime))
3. 获取您E从 CSV 中提取的数据（全部为字符串）并T将其转换为所需的格式，然后L加载它。

你正在做的操作是一个非常基本的ETL。看来您的提取和加载部分正在工作，您缺少的是转换组件。