【问题标题】:How can I write multiple updates in one BulkAll method in ElasticSearch NEST 7.13.2如何在 ElasticSearch NEST 7.13.2 中的一个 BulkAll 方法中编写多个更新
【发布时间】:2021-07-09 12:51:14
【问题描述】:

在 Visual Studio 2019 中使用 ElasticSearch NEST .Net 包 7.13.2

对于产品列表,我目前正在使用以下代码更新我的产品索引中的现有文档:

var productIndex = "productindex";
foreach (var product in products)
{
  productClassIdScript = $"ctx._source.productClassId = \"{product.ProductClassId}\"; ";
  elasticClient.Update<productIndex, object>(product.Id,
               q => q.Script(s => s.Source(productClassIdScript).Lang("painless")));
}

我为超过 10000 种产品执行此操作,大约需要 2 小时。 我知道我可以使用 Bulk API 插入新文档。 我可以使用 BulkAll 方法进行 更新 吗?

类似这样的:

var bulkAllObservable = elasticClient.BulkAll<Product>(myBulkAllRequest)
                        .Wait(TimeSpan.FromMinutes(15), next =>
                        {
                            // do something e.g. write number of pages to console
                        });

我应该如何构造 myBulkAllRequest

非常感谢任何帮助。

【问题讨论】:

    标签: c# elasticsearch visual-studio-2019 nest elasticsearch-bulk-api


    【解决方案1】:

    批量索引将大大减少您的索引/更新时间,所以这是一个不错的方法。

    您仍然可以使用BulkAll 进行更新,以防弹性搜索已经有了 提供 id 的文档,文档将被更新。

    var bulk = elasticClient.BulkAll<EsDocument>(new List<EsDocument> { new EsDocument { Id = "1", Name = "1" }}, d => d);
    using var subscribe = bulk.Subscribe(new BulkAllObserver(onNext: response => Console.WriteLine("inserted")));
    bulk.Wait(TimeSpan.FromMinutes(1), response => Console.WriteLine("Bulk insert done"));
    
    var bulk2 = elasticClient.BulkAll<EsDocument>(new List<EsDocument> { new EsDocument { Id = "1", Name = "1_updated"  }}, d => d);
    using var subscribe2 = bulk2.Subscribe(new BulkAllObserver(onNext: response => Console.WriteLine("inserted")));
    bulk2.Wait(TimeSpan.FromMinutes(1), response => Console.WriteLine("Bulk insert done"));
    

    首先BulkAll 将插入带有Id“1”的文档,第二个将更新带有Id“1”的文档。

    第一次大容量后的索引状态

    第二个之后

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-10-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-05-29
      • 2013-08-13
      相关资源
      最近更新 更多