【问题标题】:Java and SQL query: slownessJava 和 SQL 查询:速度慢
【发布时间】:2014-08-01 14:27:26
【问题描述】:

我正在获取一个 java 小程序来填充数据库。

我在 HP i3 ram6gb 上使用 JDK 1.7 和 XAMPP 3.2.1 32Bit。 我的数据库很大,结构如下:

[TABLE] attributi   rows:245    InnoDB  16 KiB
[TABLE]dati         rows:1,938,620  InnoDB  167.7 MiB
[TABLE]minilinks    rows:12,670,740 InnoDB  625 MiB
[TABLE]personaggi   rows:196,046    InnoDB  8.5 MiB
[TABLE]relazioni    rows:0      InnoDB  16 KiB

我必须填写表格“relazioni”。这是代码:

public class PageLink {

private static  boolean  cleanRelazioni = true;
private static  boolean  relazioni = true;

static public void main(String argv[]) throws InterruptedException, IOException {    

     String intestazione =  "################################# Progetto Parser/Scanner XML Wikipedia #############################################################\n\n";
     System.out.println(intestazione);
     PrintWriter outRel = null;

     //connessione al Database
     Database db = new Database("wikipages","","root","localhost");
     if(db.connect()){
            System.out.println("Connessione al Database ESEGUITA.");                
     }
     if(cleanRelazioni){
         db.cleanRelazioni();
     }

     long startTime = System.currentTimeMillis();

     if(relazioni){
         int cont = 0;
         System.out.println("Relazioni delle sole Biografie");
         outRel = new PrintWriter(new FileWriter("fileTest/outputRelazioniPageToPage.txt"));

         try{
             outRel.println("Relazioni delle sole Biografie");
         }
         catch(Exception e){        
            e.printStackTrace();
         }

             //tiro fuori Nome+Cognome corrente             
             List<Integer> listaPersonaggi = db.getIDPersonaggi();
             for (int id : listaPersonaggi) {   
                System.out.println("\nIl Personaggio ");
                db.printPersonaggio(id);
                System.out.println("E' correlato con ");
                cont = db.checkPageToPage(id);                      
                System.out.println("=====>"+cont+"\n\n");

                try{    
                    outRel.flush();
                    outRel.println(id + " è correlato con "+cont+" personaggi.");
                    outRel.println("");
                 }
                 catch(Exception e){        
                     e.printStackTrace();
                 }
            }
     }


     long endTime = System.currentTimeMillis();
     System.out.println("Tempo Esecuzione: " + (endTime - startTime) + " millisecondi => secondi "+(endTime - startTime)/1000);
     System.out.println("FINE PROGRAMMA.");
     db.disconnect();        
   }
}

这是数据库类的方法:

public int checkPageToPage(int id){
 List<Integer> listaPersonaggiCorrelati = new ArrayList<Integer>();
 listaPersonaggiCorrelati.add(id);

 Statement stmt;
 ResultSet rs;
 String query = null;
 int conteggio = 0;
 String personaggio = new String("");

try {
     stmt = conn.createStatement(); 
     query = "SELECT pl_title FROM minilinks WHERE pl_from="+id+"";
     rs = stmt.executeQuery(query);
     while (rs.next()) {
         personaggio = rs.getString("pl_title").replace("_", " ").replace("\"", "");             
         if(checkExistPersonaggio(personaggio)!=-1){
             listaPersonaggiCorrelati.add(checkExistPersonaggio(personaggio));
             System.out.print("personaggio correlato => "+personaggio+"\n");
             conteggio++;
         }
     }

} catch (SQLException e) {
    e.printStackTrace();
}    
if (conteggio>0)
    insertRelazioni (listaPersonaggiCorrelati);
return conteggio;
}


public void insertRelazioni(List<Integer> listaPersonaggiCorrelati){

int id_personaggio1;
int id_personaggio2;
try {       
    for(int i=0; i<=listaPersonaggiCorrelati.size()-1;i++){
        for(int j=0; j<=listaPersonaggiCorrelati.size()-1;j++){
            int tot_relazioni=0;
            id_personaggio1=listaPersonaggiCorrelati.get(i);
            id_personaggio2=listaPersonaggiCorrelati.get(j);
            if(id_personaggio1 != id_personaggio2){                     
                    //System.out.println(id_personaggio1+" e "+id_personaggio2);
                    tot_relazioni=checkExistRelazione(id_personaggio1, id_personaggio2);
                    if (tot_relazioni==-1){
                        //System.out.println("nuova relazione tra "+id_personaggio1+" e "+id_personaggio2);
                        executeUpdate("INSERT into relazioni (id_personaggio, id_personaggio_correlato, tot) VALUES("+id_personaggio1+", "+id_personaggio2+", '1')");  
                    }
                        else {
                            //System.out.println("aggiorno la relazione tra "+id_personaggio1+" e "+id_personaggio2);
                            tot_relazioni++;
                            executeUpdate("UPDATE relazioni SET tot="+tot_relazioni+" WHERE id_personaggio = "+id_personaggio1+" and id_personaggio_correlato = "+id_personaggio2+"");  
                        }
            }
        }
    }

   } catch (Exception e) { 
      e.printStackTrace(); 
      e.getMessage(); 
    }   
}

我的问题是:插入查询非常慢.. 插入 4000 行需要 30 分钟。 我能做些什么来解决这个问题吗?我很好奇这个原因意味着什么以及为什么我遇到麻烦。 或许我可以使用Mysql 64位版本?

【问题讨论】:

标签: java mysql sql xampp


【解决方案1】:

因为 miniliks 是最大的桌子,所以您选择

"SELECT pl_title FROM minilinks WHERE pl_from="+id+"";

pl_from 列是否有特殊索引?

【讨论】:

  • 不,表微链接具有以下结构: pl_from int(8) ---- pl_title varbinary(255) 我必须添加索引吗?我认为问题(可能)出在方法 insertRelazioni()
  • 好吧,您在 The Otter 评论中已经有了答案。索引将有助于选择
  • 我添加了索引,但我还没有解决问题。相反,当 for cicle 中的方法 insertRelazioni() 尝试插入记录时,问题就会出现。
猜你喜欢
  • 2016-02-29
  • 1970-01-01
  • 2023-03-15
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-10-04
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多