【发布时间】：2016-07-15 22:42:13
【问题描述】：
只是在寻找有关通过计划的 Web 作业处理数据导入的最佳方法的一些建议。 我有 8 个 json 文件，每 5 小时通过 FTP 客户端使用 JSON 序列化程序导入内存，然后使用 EF6 处理这些 JSON 对象并将其插入 Azure SQL。每个文件都在一个循环中按顺序处理，因为我想确保所有数据都正确插入，就像我尝试使用 Parallel ForEach 时一样，一些数据没有被插入到相关表中。因此，如果 WebJob 失败，我知道有一个错误，我们可以再次运行，问题是现在需要很长时间才能完成，因为我们有很多数据，接近 2 小时 - 每个文件有 500 个位置，每个位置有 11 个天和 24 小时数据。
任何人都知道如何更快地执行此操作，同时确保始终正确插入数据或处理任何错误。正在考虑使用存储队列，但我们将来可能需要指向其他数据库，或者我可以每个文件使用 1 个 Web 作业，因此每 5 小时为每个文件安排 8 个 Web 作业，因为我认为数量有限制我每天可以运行的网络作业数。
或者是否有另一种方法可以将数据导入到 Azure SQL 中，并且可以安排。
【问题讨论】：
标签： json azure data-import webjob