如何使用 sqlite3.exe 命令行工具自动化进程？

Question

我正在尝试将大量数据（550 万行）批量加载到 SQLite 数据库文件中。 通过 INSERT 加载似乎太慢了，所以我尝试使用 sqlite3 命令行工具和 .import 命令。

如果我手动输入命令，它会完美运行，但我一生都无法弄清楚如何从脚本（.bat 文件或 python 脚本；我在 Windows 机器上工作）自动化它.

我在命令行发出的命令如下：

> sqlite3 database.db
sqlite> CREATE TABLE log_entry ( <snip> );
sqlite> .separator "\t"
sqlite> .import logfile.log log_entry

但我尝试的任何方法都无法从 bat 文件或 python 脚本中运行。

我一直在尝试这样的事情：

sqlite3 "database.db" .separator "\t" .import logfile.log log_entry

echo '.separator "\t" .import logfile.log log_entry' | sqlite3 database.db

我肯定能做到这一点吗？

Answer 1

创建一个文本文件，其中包含要输入到 sqlite 命令行程序的行，如下所示：

创建表 log_entry ( ); . 分隔符“\t” .import logfile.log log_entry

然后拨打sqlite3 database.db < commands.txt

Answer 2

或者，您可以使用 heredoc import.sh 将所有内容放在一个 shell 脚本文件中（从而简化维护）：

#!/bin/bash --
sqlite3 -batch $1 <<"EOF"
CREATE TABLE log_entry ( <snip> );
.separator "\t"
.import logfile.log log_entry
EOF

...并运行它：

import.sh database.db

它使得只维护一个脚本文件变得更加容易。 对了，如果需要在Windows下运行，Power Shell also features heredoc

此外，这种方法有助于处理缺少脚本参数支持的问题。您可以使用 bash 变量：

#!/bin/bash --

table_name=log_entry

sqlite3 -batch $1 <<EOF
CREATE TABLE ${table_name} ( <snip> );
.separator "\t"
.import logfile.log ${table_name}
EOF

或者甚至做一个这样的把戏：

#!/bin/bash --

table_name=$2

sqlite3 -batch $1 <<EOF
CREATE TABLE ${table_name} ( <snip> );
.separator "\t"
.import logfile.log ${table_name}
EOF

...并运行它：import.sh database.db log_entry

Answer 3

创建一个单独的文本文件，其中包含您通常会在 sqlite3 shell 应用程序中键入的所有命令：

CREATE TABLE log_entry ( <snip> );
.separator "\t"
.import /path/to/logfile.log log_entry

将其另存为 impscript.sql。

使用该脚本创建一个调用 sqlite3 shell 的批处理文件：

sqlite3.exe yourdatabase.db < /path/to/impscript.sql

调用批处理文件。

附带说明 - 导入时，确保将 INSERT 包装在事务中！这将使您立即获得 10.000% 的加速。

Answer 4

我最近在将 Firefox 的 cookies.sqlite 转换为文本文件（用于某些下载工具）时遇到了类似的问题，偶然发现了这个问题。

我想用一个 shell 行来做到这一点，这将是我应用于上述问题的解决方案：

echo -e ".mode tabs\n.import logfile.log log_entry" | sqlite3 database.db

但我还没有测试过那条线。但它可以很好地解决我上面提到的 Firefox 问题（顺便说一句，通过 Mac OSX 上的 Bash）：

echo -e ".mode tabs\nselect host, case when host glob '.*' then 'TRUE' else 'FALSE' end, path, case when isSecure then 'TRUE' else 'FALSE' end, expiry, name, value from moz_cookies;" | sqlite3 cookies.sqlite

Answer 5

sqlite3 abc.db ".read scriptname.sql"

Answer 6

此时，我不确定我还能添加什么，除了在 nad2000 建议的 bash 脚本中添加 unix 环境变量时遇到了一些麻烦。

运行这个：

bash dbmake.sh database.db <(sed '1d' $DATA/logfile.log | head -n 1000)

我需要从标准输入导入作为解决方法，我找到了这个解决方案：

sqlite3 $1 <<"EOF"
CREATE TABLE log_entry;
EOF
sqlite3 -separator $'\t' $1 ".import $2 log_entry"

通过添加第二个 sqlite3 行，我能够将 $2 从 Unix 传递到 .import、完整路径和所有内容的文件参数中。

Answer 7

在 Windows 上，这应该可以工作：

(echo CREATE TABLE log_entry ( <snip> ); & echo .separator "\t" & echo .import logfile.log log_entry) | sqlite3.exe database.db

我没有测试过这个特定的命令，但是从我自己解决管道多个命令的问题的过程中，我发现关键是将回显的命令括在括号内。话虽如此，您可能需要调整上述命令以转义其中一些字符。例如：

(echo CREATE TABLE log_entry ^( ^<snip^> ^); & echo .separator "\t" & echo .import logfile.log log_entry) | sqlite3.exe database.db

我不确定在这种情况下是否需要转义，但很有可能是因为括号可能与封闭的括号冲突，然后是“小于”和“大于”符号通常被解释为也可能冲突的输入或输出。可以在此处找到大量字符转义列表：http://www.robvanderwoude.com/escapechars.php

Answer 8

   here trans is table name and trans.csv is a csv file in which i have 1959 rows of data

    $ sqlite3 abc.db ".separator ','"
    $ sqlite3 abc.db ".import 'trans.csv' trans"
    $ sqlite3 abc.db "select count(*) from trans;"
    1959

但不可能像你写的那样写