EclipseLink 批量插入非常非常慢答案

【问题标题】：EclipseLink batch insert very very slowEclipseLink 批量插入非常非常慢
【发布时间】：2014-10-17 02:11:49
【问题描述】：

我正在尝试使用 EclipseLink 优化我的 JPA 实现。我已经向它添加了批处理操作。但是做 50 000 次插入仍然需要很多时间。使用原始 SQL 和 JDBC 执行完全相同的插入所需的时间是其 10 倍以上。

为了确保批处理操作确实有效，我使用 Wireshark 检查我的数据包，它没有使用批处理插入。

这是其中一个插入数据包：

它没有做：

INSERT INTO ENTITYCLASSTEST (LASTNAME, NAME) VALUES ('sfirosijfhgdoi 0', 'dsufius0'), ('sfirosijfhgdoi 0', 'dsufius0'), ('sfirosijfhgdoi 0', 'dsufius0'), ('sfirosijfhgdoi 0', 'dsufius0')... and so on

我希望它像上面那样做，但它是每个数据包插入一行，而不是每个数据包多行。

这是我的实体类：

@Entity
public class EntityClassTest implements Serializable {
    private static final long serialVersionUID = 1L;

    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    private String name;
    private String lastname;

    public EntityClassTest() {
    }

    public EntityClassTest(Long id, String name, String lastname) {
        this.id = id;
        this.name = name;
        this.lastname = lastname;
    }

    public EntityClassTest(String name, String lastname) {
        this.name = name;
        this.lastname = lastname;
    }

    public Long getId() {
        return id;
    }

    public String getName() {
        return name;
    }

    public String getLastName() {
        return lastname;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public void setName(String name) {
        this.name = name;
    }

    public void setLastName(String lastname) {
        this.lastname = lastname;
    }

    @Override
    public int hashCode() {
        int hash = 0;
        hash += (id != null ? id.hashCode() : 0);
        return hash;
    }

    @Override
    public boolean equals(Object object) {
        // TODO: Warning - this method won't work in the case the id fields are not set
        if (!(object instanceof EntityClassTest)) {
            return false;
        }
        EntityClassTest other = (EntityClassTest) object;
        if ((this.id == null && other.id != null) || (this.id != null && !this.id.equals(other.id))) {
            return false;
        }
        return true;
    }

    @Override
    public String toString() {
        return "database.EntityClassTest [id=" + id + " ]";
    }

}

这是我的 persist 方法，它接收 List 并保留里面的所有对象。

public void insertListToTable(final String persistenceUnit, final List list) throws SQLException {
        final EntityManagerFactory entityManagerFactory = Persistence.createEntityManagerFactory(persistenceUnit);
        final EntityManager entityManager = entityManagerFactory.createEntityManager();
        final EntityTransaction transaction = entityManager.getTransaction();

        try {            
            final int listSize = list.size();
            transaction.begin();

            for (int i = 0; i<listSize; i++) { //Object object : list) {
                final Object object = list.get(i);
                entityManager.persist(object);

                if ( i % 500 == 0 ) { //500, same as the JDBC batch size defined in the persistence.xml
                    //flush a batch of inserts and release memory:
                    entityManager.flush();
                    entityManager.clear();
                }
            }
            transaction.commit();
        }
        catch(Exception e) {
            if (transaction != null) {
                transaction.rollback();
            }
            throw new SQLException(e.getMessage());
        } 
        finally {
            entityManager.close();
        }
    }

还有我的persistence.xml，我将批处理值设置为500，文件是：

<?xml version="1.0" encoding="UTF-8"?>
<persistence version="2.1" xmlns="http://xmlns.jcp.org/xml/ns/persistence" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/persistence http://xmlns.jcp.org/xml/ns/persistence/persistence_2_1.xsd">
<persistence-unit name="ExternalServer" transaction-type="RESOURCE_LOCAL">
    <provider>org.eclipse.persistence.jpa.PersistenceProvider</provider>
    <!-- List of Entity classes -->
    <class>model.EntityClassTest</class>
    <properties>
      <property name="javax.persistence.jdbc.url" value="jdbc:mysql://myServer:3306/testdb?zeroDateTimeBehavior=convertToNull"/>
      <property name="javax.persistence.jdbc.user" value="testdbuser"/>
      <property name="javax.persistence.jdbc.driver" value="com.mysql.jdbc.Driver"/>
      <property name="javax.persistence.jdbc.password" value="myPassword"/>
      <property name="javax.persistence.schema-generation.database.action" value="create"/>

      <!-- Weaving -->
      <property name="eclipselink.weaving" value="static"/>
      <!-- SQL dialect / Database type -->
      <property name="hibernate.dialect" value="org.hibernate.dialect.MySQLDialect"/>
      <property name="eclipselink.target-database" value="MySQL"/>
      <!-- Tell the JPA provider to, by default, create the table if it does not exist. -->
      <property name="javax.persistence.schema-generation.database.action" value="create"/>
      <!-- No logging (For development change the value to "FINE") -->
      <property name="eclipselink.logging.level" value="OFF"/>
      <!-- Enable batch writing -->
      <property name="eclipselink.jdbc.batch-writing" value="JDBC"/>
      <!-- Batch size -->
      <property name="eclipselink.jdbc.batch-writing.size" value="500"/>

    </properties>
  </persistence-unit>
</persistence>

所以我的问题是，为什么不批量插入？我相信我已经对 EclipseLink 进行了很好的配置，可以根据我在 EclipseLink 网站和此处阅读的内容进行此操作。

////////////////////////编辑//////////// ///////////

正如克里斯的回答所建议的那样，我将我的 EntityClassTest 这个值 @GeneratedValue(strategy = GenerationType.IDENTITY) 更改为 @GeneratedValue(strategy = GenerationType.SEQUENCE) 并重新运行测试，并且数据包像以前一样被发送（就像我在上面发布的图像）。所以恐怕它并没有解决我的问题。

//////////////////////// 编辑 2 ///////////// //////////

我已将persistence.xml 文件中的日志记录级别更改为FINEST，如下所示。

<property name="eclipselink.logging.level" value="FINEST"/>

这是生成的日志。我把它放在一个 pastebin 里，因为它很长。

http://pastebin.com/rKihCKMW

它似乎调用了很多次Execute query InsertObjectQuery。

//////////////////////// 编辑 3 ///////////// //////////

这是我正在使用的每个组件的版本。

+-------------------------+------------------------------+
| Variable_name           | Value                        |
+-------------------------+------------------------------+
| innodb_version          | 5.6.12                       |
| protocol_version        | 10                           |
| slave_type_conversions  |                              |
| version                 | 5.6.12-log                   |
| version_comment         | MySQL Community Server (GPL) |
| version_compile_machine | x86_64                       |
| version_compile_os      | Win64                        |
+-------------------------+------------------------------+

Netbeans 8.0

EclipseLink (JPA 2.1)

mysql-connector-java-5.1.24.jar

//////////////////////// 编辑 4 ///////////// //////////

按照 CuriousMind 的回答，我已将 EntityClassTest id 注释编辑为：

    @Id
    @GeneratedValue(strategy = GenerationType.AUTO, generator="id-seq-gen")
    @SequenceGenerator( name="id-seq-gen", sequenceName="ID_SEQ_GEN", allocationSize=500 )
    private Long id;

但这并没有解决我的问题，我仍然会在每个数据包中插入一个（如上图所述）并且在 EclipseLink 日志中我得到：

[EL Fine]: sql: 2014-10-19 06:44:02.608--ClientSession(824177287)--Connection(1674390738)--Thread(Thread[main,5,main])--SELECT LAST_INSERT_ID()
[EL Finest]: sequencing: 2014-10-19 06:44:02.608--UnitOfWork(1985011414)--Thread(Thread[main,5,main])--assign sequence to the object (1.251 -> database.EntityClassTest [id=null ])
[EL Finest]: query: 2014-10-19 06:44:02.608--UnitOfWork(1985011414)--Thread(Thread[main,5,main])--Execute query InsertObjectQuery(database.EntityClassTest [id=null ])
[EL Finest]: query: 2014-10-19 06:44:02.608--ClientSession(824177287)--Thread(Thread[main,5,main])--Execute query ValueReadQuery(name="ID_SEQ_GEN" sql="SELECT LAST_INSERT_ID()")
[EL Fine]: sql: 2014-10-19 06:44:02.608--ClientSession(824177287)--Connection(1674390738)--Thread(Thread[main,5,main])--INSERT INTO ENTITYCLASSTEST (LASTNAME, NAME) VALUES (?, ?)
    bind => [sfirosijfhgdoi 2068, dsufius1034]
[EL Fine]: sql: 2014-10-19 06:44:02.608--ClientSession(824177287)--Connection(1674390738)--Thread(Thread[main,5,main])--SELECT LAST_INSERT_ID()
[EL Finest]: sequencing: 2014-10-19 06:44:02.608--UnitOfWork(1985011414)--Thread(Thread[main,5,main])--assign sequence to the object (1.252 -> database.EntityClassTest [id=null ])
[EL Finest]: query: 2014-10-19 06:44:02.608--UnitOfWork(1985011414)--Thread(Thread[main,5,main])--Execute query InsertObjectQuery(database.EntityClassTest [id=null ])
[EL Finest]: query: 2014-10-19 06:44:02.608--ClientSession(824177287)--Thread(Thread[main,5,main])--Execute query ValueReadQuery(name="ID_SEQ_GEN" sql="SELECT LAST_INSERT_ID()")
[EL Fine]: sql: 2014-10-19 06:44:02.608--ClientSession(824177287)--Connection(1674390738)--Thread(Thread[main,5,main])--INSERT INTO ENTITYCLASSTEST (LASTNAME, NAME) VALUES (?, ?)
    bind => [sfirosijfhgdoi 2244, dsufius1122]

等等……

【问题讨论】：

能否请您发布您正在使用的每个软件的版本，例如 MySQL、Eclipse Link、MySQL 驱动程序等。
您是否尝试将 rewriteBatchedStatements=true 添加到连接属性？
@MárcioSouzaJúnior 你是对的。我忘记将rewriteBatchedStatements=true 添加到persistence.xml 文件中的连接我在我的JDBC 中有它，我错误地认为我在persistence.xml 中也有它。这部分解决了我的问题。克里斯的回答确实解决了我的问题。

标签： java mysql jpa eclipselink

【解决方案1】：

您正在使用 GenerationType.IDENTITY 进行排序，这需要从每个插入语句中一一检索 ID。尝试一个允许以 500 个批次进行预分配的排序方案，您将看到改进： http://en.wikibooks.org/wiki/Java_Persistence/Identity_and_Sequencing#Identity_sequencing

【讨论】：

我将我的EntityClassTest 这个值@GeneratedValue(strategy = GenerationType.IDENTITY) 更改为@GeneratedValue(strategy = GenerationType.SEQUENCE) 并重新运行测试，并且数据包像以前一样被发送（就像我在我的问题中发布的图像）。所以恐怕它并没有解决我的问题。
您需要能够批量获取与您的批量写入大小相匹配的序列，否则 JPA 必须中断批处理以获取额外的序列值。我不相信 MySQL 有排序，所以它默认为 Identity；您需要改用表排序。见java-persistence-performance.blogspot.com/2011/06/…

【解决方案2】：

已经一年了，可能回答太晚了。就我而言，我发现 flush() 导致了问题。我在persist() 之后为每条记录调用flush()。这会阻止批量写入以进行优化并导致插入性能不佳。去掉flush()后，一切顺利。

【讨论】：

@keerate 你太棒了！解决了我的问题。

【解决方案3】：

似乎是序列生成导致了这个问题，你参考这个post。它提供了预分配序列生成的方法。

【讨论】：

【解决方案4】：

这可能是因为序列/缩进（需要使用预分配），但对于 mysql，我认为您需要一个连接字符串属性来允许批量插入：

rewriteBatchedStatements=true

jdbc:mysql://localhost:3306/test?rewriteBatchedStatements=true

【讨论】：