如何在 django 的 sqlite3 数据库中使用全文搜索？

Question

我正在开发一个带有 sqlite3 数据库的 django 应用程序，它具有固定的数据库内容。固定是指数据库的内容不会随着时间而改变。模型是这样的：

class QScript(models.Model):
    ch_no = models.IntegerField()
    v_no = models.IntegerField()
    v = models.TextField()

表中有大约 6500 条记录。给定可能缺少某些单词或某些单词拼写错误的文本，我需要确定其ch_no 和v_no。例如，如果 db 中有一个 v 字段，其中包含文本 "This is an example verse"，那么像 "This an egsample verse" 这样的给定文本应该给我来自 db 的 ch_no 和 v_no。我相信这可以使用全文搜索来完成。

我的查询是：

1. 全文搜索可以做到这一点吗？根据我的研究，我的猜测是，正如sqlite3 page 中所说：全文搜索是“Google、Yahoo 和 Bing 对放置在万维网上的文档所做的事情”。在 SO 中引用，我也阅读了 this article 以及许多其他内容，但没有发现任何 非常 符合我的要求的内容。

2. 如何在 django 模型中使用 FTS？ 我阅读了 this，但没有帮助。似乎太陈旧了。阅读here：“...需要直接操作数据库以添加全文索引”。搜索主要提供 MySQL 相关信息，但我需要在 sqlite3 中进行。那么如何在 sqlite3 中进行直接操作？

---

编辑：

我选择坚持使用 sqlite3 是否正确？或者我应该使用不同的东西（比如Alex Morozov 所说的 haystack+elasticsearch）？我的数据库不会变大，我研究过对于小型数据库，sqlite几乎总是更好（我的情况与第四个in sqlite's when to use checklist匹配）。

Answer 1

SQLite's FTS engine 基于令牌 - 搜索引擎尝试匹配的关键字。

有多种标记器可用，但它们相对简单。 “simple”标记器只是将每个单词拆分并小写：例如，在字符串“The quick brown fox jumps over the lazy dog”中，单词“jumps”会匹配，但不会匹配“jump”。 “porter”分词器更高级一些，它去除了单词的共轭，因此“jumps”和“jumping”会匹配，但像“jmups”这样的拼写错误则不会。

简而言之，SQLite FTS 扩展是相当基础的，并不意味着与 Google 等竞争。

至于 Django 集成，我认为没有。您可能需要use Django's interface for raw SQL queries，用于创建和查询 FTS 表。

Answer 2

我认为虽然 sqlite 是一款了不起的软件，但它的全文搜索功能非常有限。相反，您可以使用带有Elasticsearch 之类的后端的Haystack Django 应用程序来索引您的数据库。在我看来，就 FTS 而言，拥有这种设置（并且仍然能够访问您的 sqlite 数据库）似乎是最强大和最灵活的方式。

Elasticsearch 有一个基于 Levenshtein 距离的fuzzy search（简而言之，它会处理您的“egsample”查询）。所以你只需要做出正确的查询类型：

from haystack.forms import SearchForm
from haystack.generic_views import SearchView
from haystack import indexes


class QScriptIndex(indexes.SearchIndex, indexes.Indexable):
    v = indexes.CharField(document=True)

    def get_model(self):
        return QScript


class QScriptSearchForm(SearchForm):
    text_fuzzy = forms.CharField(required=False)    

    def search(self):        
        sqs = super(QScriptSearchForm, self).search()

        if not self.is_valid():
            return self.no_query_found()

        text_fuzzy = self.cleaned_data.get('text_fuzzy')
        if text_fuzzy:
            sqs = sqs.filter(text__fuzzy=text_fuzzy)

        return sqs


class QScriptSearchView(SearchView):        
    form_class = QScriptSearchForm

更新：只要PostgreSQL 具有 Levenshtein 距离功能，您还可以将其用作 Haystack 后端以及独立的搜索引擎。如果选择第二种方式，则必须实现custom query expression，如果您使用的是最新版本的 Django，这相对容易。