Python 3 Unicode 转义

Question

我有一个脚本，是按照Learning Python for Forensics 一书中的蓝图构建的。该脚本将遍历用户指定的目录并收集目录中每个文件的元数据。结果保存到 sqlite 数据库，也写入 CSV 或 HTML 文件。

该脚本最初是用 Python 2.7.15 编写的。我正在尝试更新 Python 3.7 的代码。但是，摄取目录函数中有一行给我带来了问题。

ingestDirectory 函数如下所示：

def ingestDirectory(cur, source, custodian_id):    
    count = 0
    for root, folders, files in os.walk(source):
        for file_name in files:
            meta_data = dict()
            try:
                meta_data['file_name'] = file_name
                meta_data['file_path'] = os.path.join(root, file_name)
                meta_data['extension'] = os.path.splitext(file_name)[-1]

                file_stats = os.stat(meta_data['file_path'])
                meta_data['mode'] = oct(file_stats.st_mode)
                meta_data['inode'] = int(file_stats.st_ino)
                meta_data['file_size'] = int(file_stats.st_size)
                meta_data['atime'] = formatTimestamp(file_stats.st_atime)
                meta_data['mtime'] = formatTimestamp(file_stats.st_mtime)
                meta_data['ctime'] = formatTimestamp(file_stats.st_ctime)
            except Exception as e:
                logging.error('Could not gather data for file: ' + meta_data['file_path'] + e.__str__())
            meta_data['custodian'] = custodian_id
            columns = '","'.join(meta_data.keys())
            values = '","'.join(str(x).encode('string_escape') for x in meta_data.values())
            sql = 'INSERT INTO Files ("' + columns + '") VALUES ("' + values + '")'
            cur.execute(sql)
            count += 1

给我错误的行是这样的：

values = '","'.join(str(x).encode('string_escape') for x in meta_data.values())

此行旨在处理在将数据写入数据库之前在metadata.values 中找到的任何字符串转义字符。

当我尝试在 Python 3 中运行此代码时，我收到有关无法识别的编解码器的错误。我在 Stack Overflow 上做了一些研究，发现 string_escape 在 Python 3 中已被 unicode-escape 取代。

我对 Python 3 和 Unicode 还很陌生。我的问题是这样的：

如何更新上面的行，使其使用 unicode-escape 而不是 string_escape 并产生与 Python 2.7 代码相同的结果？

任何帮助将不胜感激！我已经为此工作了几天，我尝试的每个解决方案都只会导致更多错误代码或损坏的输出文件。

Answer 1

您正在这段代码中生成 SQL，并且转义是为了尝试生成有效的 SQL。这是避免 SQL 注入的一个非常穷人的尝试。它不是很有效，也不需要，因为数据库驱动程序已经知道如何以更安全的方式处理这个问题！

对于 SQL 数据库，将 值 放入 SQL 参数的正确方法。 SQL 参数由两部分组成：占位符，以及分别传入.execute() 方法以供数据库干净处理的值。 sqlite3 库也不例外，请参阅 cursor.execute() method for details。对于您的情况，您可以使用 named 占位符：

columns = [f'''"{name.replace('"', '""')}"''' for name in meta_data]
placeholders = [f':{name}' for name in meta_data]
sql = f'INSERT INTO Files ({", ".join(columns)}) VALUES ({", ".join(placeholders)})'    
cur.execute(sql, meta_data)

注意meta_data 作为第二个参数传递；数据库获取每个:name 占位符并从meta_data 字典中获取该占位符的值。

我还正确格式化了列名，方法是在它们周围加上双引号并将名称中的任何 " 字符加倍；见SQLite keyword documentation:

'keyword'       A keyword in single quotes is a string literal.
"keyword"       A keyword in double-quotes is an identifier.

您的代码对这些列名进行了硬编码，并且它们都不是保留的 SQL 关键字，因此它们并不真正需要这种保护，但这仍然是一种很好的做法。

对于您的代码，meta_data 具有固定数量的键，上面构建了这个 sql 字符串：

>>> columns = [f'''"{name.replace('"', '""')}"''' for name in meta_data]
>>> placeholders = [f':{name}' for name in meta_data]
>>> sql = f'INSERT INTO Files ({", ".join(columns)}) VALUES ({", ".join(placeholders)})'
>>> from pprint import pprint
>>> pprint(sql)
('INSERT INTO Files ("file_name", "file_path", "extension", "mode", "inode", '
 '"file_size", "atime", "mtime", "ctime") VALUES (:file_name, :file_path, '
 ':extension, :mode, :inode, :file_size, :atime, :mtime, :ctime)')

我还会更改您记录错误的方式，而不是

logging.error('Could not gather data for file: ' + meta_data['file_path'] + e.__str__())

我会使用

logging.exception('Could not gather data for file: %s', meta_data['file_path'])

并将错误收集留给日志框架。即使您确实包含异常对象，也请使用str(e) 或%s 占位符。