【问题标题】:Arithmetic overflow error converting numeric to data type numeric. EF Core将数字转换为数字数据类型的算术溢出错误。 EF 核心
【发布时间】:2019-05-06 17:48:02
【问题描述】:

我正在尝试找出哪一列或哪几列正在触发下面的错误。由 3rd 方服务提供的传入数据发生了一些变化,现在当我尝试将其保存到 SQL 时导致失败。

Microsoft.EntityFrameworkCore.DbUpdateException:发生错误 在更新条目时。有关详细信息,请参阅内部异常。 ---> System.Data.SqlClient.SqlException:算术溢出错误 将数字转换为数据类型数字。该声明已 终止。

一个非常简单的流程:

  • 以 JSON 格式读取 3rd 方 API
  • 使用newtonsoft直接转换为EF数据模型类
  • 将记录添加到数据库然后保存。

数据结构定义为:

[JsonObject(MemberSerialization.OptIn)]
public class RatDbAttributes
{
    [JsonProperty]
    [StringLength(50)]
    public string block_chain { get; set; } // varchar(50)
    [JsonProperty]
    [StringLength(50)]
    public string block_reduction { get; set; } // varchar(50)
    [JsonProperty]
    [StringLength(50)]
    public string block_reward { get; set; } // varchar(50)
    [JsonProperty]
    public double block_time { get; set; } // decimal(28,6)
    [JsonProperty]
    [StringLength(100)]
    public string consensus_method { get; set; } // varchar(100)
    [JsonProperty]
    public decimal decimals { get; set; } // decimal(28,6)
    [JsonProperty]
    [StringLength(50)]
    public string difficulty_retarget { get; set; } // varchar(50)
    [JsonProperty]
    [StringLength(200)]
    public string genesis_address { get; set; } // varchar(200)
    [JsonProperty]
    [StringLength(100)]
    public string hash_algorithm { get; set; } // varchar(100)
    [JsonProperty]
    [StringLength(50)]
    public string mineable { get; set; } // varchar(50)
    [JsonProperty]
    public long p2p_port { get; set; } // bigint
    [JsonProperty]
    public long rpc_port { get; set; } // bigint
    [JsonProperty]
    [StringLength(200)]
    public string token_role { get; set; } // varchar(200)
    [JsonProperty]
    public decimal @float { get; set; } // decimal(28,6)
    [JsonProperty]
    public decimal minted { get; set; } // decimal(28,6)
    [JsonProperty]
    public decimal total_supply { get; set; } // decimal(28,6)
    [JsonProperty]
    public decimal max_supply { get; set; } // decimal(28,6)
    [JsonProperty]
    [StringLength(133)]
    public string wallet { get; set; } // varchar(133)
    [JsonProperty]
    [NotMapped]
    public double genesis_timestamp { get; set; } // see below

    [JsonIgnore]
    public DateTime Genesis_TimeStamp { get { return genesis_timestamp.ToDateTime(); } set { genesis_timestamp = value.ToEpoch(); } }


    // Foregin Key Relationship (1-to-1) and Primary Key
    [JsonIgnore]
    public long TokenMasterId { get; set; }
    [JsonIgnore]
    [ForeignKey("TokenMasterId")]
    public RatDbTokenMaster TokenMaster { get; set; } //foreign key to Parent
}

我已经仔细检查了genesis_timestamp,这不是问题(将双精度转换为日期时间)。

传入失败的 JSON 示例:

{"block_chain":""
,"block_reduction":""
,"block_reward":"0"
,"block_time":0.0
,"consensus_method":""
,"decimals":0.0
,"difficulty_retarget":""
,"genesis_address":""
,"hash_algorithm":""
,"mineable":"False"
,"p2p_port":0
,"rpc_port":0
,"token_role":""
,"float":0.0
,"minted":0.0
,"total_supply":0.0
,"max_supply":0.0
,"wallet":""
,"genesis_timestamp":0.0
}

【问题讨论】:

  • 当我更新到 DotNet Core 时,我发现使用模型读取数据时更加严格。例如,我在一个字段上有 [Required],因为我在视图中使用了相同的类。在 DotNet Core 1.0 中,如果数据有一些空字段,这在读取流时不会导致问题。在 Core 2.2 中它爆炸了。当我删除 [Required ] 属性时,它工作正常。因此,如果我是你,我会删除其中一些属性,例如 StringLength,看看它是否会有所不同。
  • 就在你身边。我走了相反的路。我添加了[StringLength] 属性以查看是否会弹出字符串长度错误。我已经双向运行了。大局观,除了这一张之外,所有 9 张桌子都运行良好。
  • 不幸的是,Core 2.2 没有告诉我问题出在数据验证上。我必须自己弄清楚。我收到了与您收到的几乎相同的错误消息。
  • 检查数据库级别是否存在任何触发器或自动字段计算,如果给定值太大而无法容纳,通常会出现此错误,例如decimal(5, 2) 可以保留小数点前 3 位,1234 不适合小数点 (5, 2)。您还可以运行 SQL Profiler 以准确查看正在执行的查询。

标签: sql-server entity-framework-core


【解决方案1】:

我为批处理失败创建了故障转移迭代保存。由于我为这门课设置了“全局”数据库连接,因此我无意中遇到了问题。我会添加记录集并尝试保存它(错误弹出),然后尝试迭代越来越小的批次以发现有问题的记录。问题是我在迭代之前没有删除有问题的记录集。因此,每次迭代都在DB连接中携带错误条件!

    internal void IterateSave<TModel>(List<TModel> items) where TModel : class
    {
        using (LogContext.PushProperty("Data: Class", nameof(RatBaseCommandHandler)))
        using (LogContext.PushProperty("Data: Method", nameof(IterateSave)))
        using (LogContext.PushProperty("Data: Model", nameof(items)))
        {
            int max = items.Count;
            int skip = 0;
            int take = (max > 20) ? (max / 5) : 1;
            int lastTake = take;
            List<TModel> subItems = new List<TModel>();

            while (skip <= max)
            {
                try
                {
                    subItems = items.Skip(skip).Take(take).ToList();
                    Log.Verbose("Working {Max} | {Take} | {Skip}", max, take, skip);

                    skip += take;
                    _db.Set<TModel>().AddRange(subItems);
                    _db.SaveChanges();
                }
                catch (Exception ex)
                {
/***** Was not removing the faulty record/recordset! *****/
                    _db.Set<TModel>().RemoveRange(subItems);
/***** Was not removing the faulty record/recordset! *****/

                    if (take == 1 && skip < max)
                    {
                        Log.Error(ex, "Error saving specific record in this data batch! {GuiltyRecord}", JsonConvert.SerializeObject(subItems));
                        if (skip >= max - 1)
                        {
                            depth--;
                            return;
                        }
                    }
                    else if (take > 1)
                    {
                        Log.Warning("Something is wrong saving this data batch! {RecordCount}  Running a smaller batch to isolate.", take);
                        IterateSave(subItems);
                    }
                }
            }
        }
    }

添加了这两行(catch 中的注释部分),错误就直接弹出了!

在此数据批次中保存特定记录时出错! "[{\"block_chain\":\"Ethereum\",\"block_reduction\":\"\",\"block_reward\":\"0\",\"block_time\":0.0,\"consensus_method\ ":\"\",\"decimals\":18.0,\"difficulty_retarget\":\"\",\"genesis_address\":\"0x3520ba6a529b2504a28eebda47d255db73966694\",\"hash_algorithm\":\"\",\ "mineable\":\"False\",\"p2p_port\":0,\"rpc_port\":0,\"token_role\":\"\",\"float\":0.0,\"minted\ “:6000000000000000000000.0,\“ total_supply \”:6000000000000000000000000000.0,\“ max_supply \”:600000000000000000000000000000000000000000000000000000000000000000.0,\“ \” 在更新条目时。有关详细信息,请参阅内部异常。 ---> System.Data.SqlClient.SqlException:算术溢出错误 将数字转换为数据类型数字。该声明已 终止。

虽然 C# 可以处理 DECIMAL 数据类型中的 60000000000000000000000000.0,但我们的 SQL 是在 DECIMAL(28,6) 中定义的。因为 6 位精度,只为 10^22 值留出空间。

(现在 SQL 似乎可以处理 DECIMAL(38,6)。是时候在不丢失生产数据的情况下使用列定义了。)

【讨论】:

  • 换句话说,错误是准确的,问题是数据库字段中的大小错误。 decimal(38,6) 一直受到支持,这不是新增功能。 JSON 只添加了噪音。解决此类错误的最佳方法是记录导致错误的 SQL 语句并直接执行。您可以在 EF 本身中进行配置,也可以使用 SQL Server Profiler
猜你喜欢
  • 2021-10-29
  • 2013-05-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多