Spring Data JPA - 并发批量插入/更新

Question

目前我开发了一个 Spring Boot 应用程序，它主要从消息队列（约 5 个并发消费者）中提取产品评论数据并将它们存储到 MySQL 数据库中。每条评论都可以通过它的 reviewIdentifier (String) 唯一标识，它是主键，可以属于一个或多个产品（例如不同颜色的产品）。以下是数据模型的摘录：

public class ProductPlacement implements Serializable{

   private static final long serialVersionUID = 1L;

   @Id
   @GeneratedValue(strategy = GenerationType.AUTO)
   @Column(name = "product_placement_id")
   private long id;

   @ManyToMany(fetch = FetchType.LAZY, cascade = CascadeType.ALL, mappedBy="productPlacements")
   private Set<CustomerReview> customerReviews;
}

public class CustomerReview implements Serializable{

   private static final long serialVersionUID = 1L;

   @Id
   @Column(name = "customer_review_id")
   private String reviewIdentifier;

   @ManyToMany(fetch = FetchType.LAZY, cascade = CascadeType.ALL)
   @JoinTable(
        name = "tb_miner_review_to_product",
           joinColumns = @JoinColumn(name = "customer_review_id"),
           inverseJoinColumns = @JoinColumn(name = "product_placement_id")
        )
   private Set<ProductPlacement> productPlacements;
}

队列中的一条消息包含 1 到 15 条评论和一个 productPlacementId。现在我想要一种有效的方法来保留产品的评论。每次收到的评论基本上有两种情况需要考虑：

1. 评论不在数据库中 -> 参考消息中包含的产品插入评论
2. 评论已在数据库中 -> 只需将产品引用添加到现有评论的 Set productPlacements 即可。

目前，我保留评论的方法不是最佳的。它看起来如下（使用 Spring Data JpaRespoitories）：

@Override
@Transactional
public void saveAllReviews(List<CustomerReview> customerReviews, long productPlacementId) {
    ProductPlacement placement = productPlacementRepository.findOne(productPlacementId);
    for(CustomerReview review: customerReviews){
        CustomerReview cr = customerReviewRepository.findOne(review.getReviewIdentifier());
        if (cr!=null){
            cr.getProductPlacements().add(placement);
            customerReviewRepository.saveAndFlush(cr);
        }   
        else{
            Set<ProductPlacement> productPlacements = new HashSet<>();
            productPlacements.add(placement);
            review.setProductPlacements(productPlacements);
            cr = review;
            customerReviewRepository.saveAndFlush(cr);
        }

    }
}

问题：

1. 我有时会因为违反“reviewIndentifier”上的唯一约束而得到 constraintViolationExceptions。这显然是因为我（同时）查看评论是否已经存在，然后插入或更新它。我怎样才能避免这种情况？
2. 在我的情况下使用 save() 还是 saveAndFlush() 更好。我每秒收到约 50-80 条评论。如果我只使用 save() 会自动刷新休眠还是会导致内存使用量大大增加？

对问题 1 的更新：我的 Review-Repository 上的简单 @Lock 会防止出现唯一约束异常吗？

@Lock(LockModeType.PESSIMISTIC_WRITE)
CustomerReview findByReviewIdentifier(String reviewIdentifier);

当 findByReviewIdentifier 返回 null 时会发生什么？即使方法返回 null，hibernate 是否可以锁定可能插入的 reviewIdentifier？

谢谢！

Answer 1

从性能的角度来看，我会考虑通过以下更改来评估解决方案。

1. 从双向多对多更改为双向单对多

我有一个相同的问题，即执行的 DML 语句中哪个更有效。引用自Typical ManyToMany mapping versus two OneToMany。

从配置的角度来看，选项一可能更简单，但它产生的 DML 语句效率较低。

使用第二个选项，因为每当关联由 @ManyToOne 关联控制时，DML 语句总是最有效的。

---

1. 启用 DML 语句批处理

启用批处理支持将减少到数据库的往返次数以插入/更新相同数量的记录。

引用batch INSERT and UPDATE statements

hibernate.jdbc.batch_size = 50
hibernate.order_inserts = 真
hibernate.order_updates = true
hibernate.jdbc.batch_versioned_data = true

---

1. 删除 saveAndFlush 调用次数

当前代码获取ProductPlacement，并且对于每个review，它都会执行saveAndFlush，这会导致没有批处理DML语句。

相反，我会考虑加载ProductPlacement 实体并将List<CustomerReview> customerReviews 添加到ProductPlacement 实体的Set<CustomerReview> customerReviews 字段，最后在最后调用一次merge 方法，并进行以下两个更改：

• 使 ProductPlacement 实体成为关联的所有者，即将 mappedBy 属性移动到 CustomerReview 实体的 Set<ProductPlacement> productPlacements 字段。
• 通过在这些方法中使用reviewIdentifier 字段，使CustomerReview 实体实现equals 和hashCode 方法。我相信reviewIdentifier 是独一无二的，并且是用户分配的。

最后，当您对这些更改进行性能调优时，请使用当前代码确定您的性能基准。然后进行更改并比较这些更改是否真的为您的解决方案带来了任何显着的性能改进。