Sqlite：比较两个数据库并更新旧版本 - Linux

Question

我有两个数据库，比如说 A_old.sqlite 和 A_new.sqlite。
两者都有很多表，但新数据库有一个（或多个）表，字段数不相等。

例如：

• A_old.sqlite 有表 Person 字段名称和姓氏。
• A_new.sqlite 有表 Person 字段名称、姓氏和地址。

我可以从 shell 转储每个数据库并查看差异在哪里：

   echo .dump | sqlite3 A_old.sqlite > A_old.sqlite.dump
   echo .dump | sqlite3 A_new.sqlite > A_new.sqlite.dump
   diff A_old.sqlite A_new.sqlite

问题是：如何在不手动解析 diff 输出的情况下更新 OLD db 中的模式？ （在这种情况下，我需要将字段“地址”添加到表 Person）

Answer 1

你可以在 Perl 中做这样的事情：

#!/usr/bin/perl
use strict;
use warnings;
use DBI;

my $olddbh = DBI->connect('dbi:SQLite:old.db');
my $newdbh = DBI->connect('dbi:SQLite:new.db');

my %oldtables = $olddbh->tables();
my %newtables = $newdbh->tables();
my @oldtablenames;
my @newtablenames;
my $tmp;

print "Tables in new database\n";
print "======================\n";
foreach (%newtables){
   $tmp=$_;
   $tmp =~ s/.*"."//;
   $tmp =~ s/".*//;
   next if /sqlite_/;
   print $tmp,"\n";
   push(@newtablenames,$tmp);
}
print  "\n";

print "Tables in old database\n";
print "======================\n";
foreach (%oldtables){
   $tmp=$_;
   $tmp =~ s/.*"."//;
   $tmp =~ s/".*//;
   next if /sqlite_/;
   print $tmp,"\n";
   push(@oldtablenames,$tmp);
}
print  "\n";

# Check no tables missing from old
foreach (keys %newtables){
   printf "Table: %s is missing in old database\n",$_ if ! exists $oldtables{$_};
}

# Check no tables in old but not in new
foreach (keys %oldtables){
   printf "Table: %s is superfluous in old database\n",$_ if ! exists $newtables{$_};
}

# Work out tablenames common to new and old
my @common;
foreach my $table (@newtablenames){
   foreach my $oldtable (@oldtablenames){
      if($oldtable eq $table){
        push(@common,$table);
        last;
      }
   }
}

print  "\n";
# For all tables, check fields match
foreach my $table (@common){
   my $i;
   printf "Checking fields in common table: %s\n",$table;

   my @newfields;
   my $sth = $newdbh->prepare("SELECT * FROM $table LIMIT 1");
   $sth->execute();
   my $nnfields=$sth->{NUM_OF_FIELDS};
   for ($i = 0 ; $i < $nnfields ; $i++ ) {
        push(@newfields,$sth->{NAME}->[$i]);
   }

   my @oldfields;
   $sth = $olddbh->prepare("SELECT * FROM $table LIMIT 1");
   $sth->execute();
   my $nofields=$sth->{NUM_OF_FIELDS};
   for ($i = 0 ; $i < $nofields ; $i++ ) {
        push(@oldfields,$sth->{NAME}->[$i]);
   }
   if($nnfields != $nofields){
      printf "Number of fields differs: %d vs %d\n",$nnfields,$nofields;
   }

}

这将给出如下输出：

Tables in new database
======================
AdditionalTable
Person

Tables in old database
======================
OldTable
Person

Table: "main"."AdditionalTable" is missing in old database
Table: "main"."OldTable" is superfluous in old database

Checking fields in common table: Person
Number of fields differs: 3 vs 2

Answer 2

这是一个棘手的问题，我怀疑你会找到解决它的简单方法。

一方面，.dump 命令将发出sqlite_master 表的sql 列。此值是用于创建表的 SQL。这里的问题是列顺序可能不同但相同。

vagrant@precise32:~/.ash$ sqlite3 new.db <<< "create table foo(a int, b int);"
vagrant@precise32:~/.ash$ sqlite3 old.db <<< "create table foo(b int, a int);"
vagrant@precise32:~/.ash$ sqlite3 new.db <<< .dump | grep foo
CREATE TABLE foo(a int, b int);
vagrant@precise32:~/.ash$ sqlite3 old.db <<< .dump | grep foo
CREATE TABLE foo(b int, a int);

如果您忽略这个问题，您仍然需要记住，发出的值只是用于创建表的 SQL。无论您是否希望能够以编程方式将列添加到“旧”模式中的表中，都必须对其进行解析。

一种行不通的方法是使用新架构创建一个新数据库，然后使用旧数据库的.dump 中的INSERT 语句来填充新数据库.

sqlite3 new.db <<< .dump | grep -v "^INSERT" | sqlite3 temp.db
sqlite3 old.db <<< .dump | grep "^INSERT" | sqlite3 temp.db

这会失败，因为 .dump 返回的 INSERT 语句是位置性的。如果您能以某种方式在表名之后的括号中插入列名，那么它可能会起作用。为此，您需要解析列名并创建一个以逗号分隔的列表。然后每个插入行都需要在表名之后包含该列表。这似乎是 awk 的工作，但在快速尝试了几次之后，我发现这不是微不足道的

如果您想手动获取列名列表并将其放入变量中，您可以近似于这样的解决方案：

sqlite3 new.db <<< .dump | grep -v "^INSERT" | sqlite3 temp.db
OLD_NAMES_CSV="b,a"
sqlite3 old.db <<< .dump \
  | grep "^INSERT" \
  | sed -e "s: VALUES: ($OLD_NAMES_CSV) VALUES:" \
  | sqlite3 temp.db

在此之后，temp.db 应该有来自old.db 的数据，但使用来自new.db 的架构。

如果您在新架构中重命名列或删除它们，这将不起作用，但听起来这可能是您的一个可能的解决方案。

对于比这更难的事情，我建议用 python 编写一些东西。