Postgres全文忽略xml标签答案

【问题标题】：Postgres fulltext ignores xml tagsPostgres全文忽略xml标签
【发布时间】：2019-11-15 15:49:09
【问题描述】：

我正在开发网络应用程序，该应用程序使用户能够在源存储库中进行搜索。该程序解析差异。我找不到将差异的所有部分注入 Postgres 全文向量的方法。

例子：

select alias, description, token from ts_debug('Link to <a href="//www.yahoo.com">Yahoo!</a> web site');
+-----------+-----------------+----------------------------+
|   alias   |   description   |           token            |
+-----------+-----------------+----------------------------+
| asciiword | Word, all ASCII | Link                       |
| blank     | Space symbols   |                            |
| asciiword | Word, all ASCII | to                         |
| blank     | Space symbols   |                            |
| tag       | XML tag         | <a href="//www.yahoo.com"> |
| asciiword | Word, all ASCII | Yahoo                      |
| blank     | Space symbols   | !                          |
| tag       | XML tag         | </a>                       |
| blank     | Space symbols   |                            |
| asciiword | Word, all ASCII | web                        |
| blank     | Space symbols   |                            |
| asciiword | Word, all ASCII | site                       |
+-----------+-----------------+----------------------------+

似乎解析正常。但是如果我把它变成一个文档向量，XML 标签就不会被包含进来。

select to_tsvector('simple', 'Link to <a href="//www.yahoo.com">Yahoo!</a> web site') to_tsvector;
+--------------------------------------------+
|                to_tsvector                 |
+--------------------------------------------+
| 'link':1 'site':5 'to':2 'web':4 'yahoo':3 |
+--------------------------------------------+

估计和配置有关吧？

有什么想法吗？

【问题讨论】：

标签： postgresql full-text-search full-text-indexing

【解决方案1】：

解析器解析出标签，但默认配置 'simple' 会忽略它们（可以在 psql 中通过运行\dF+ simple 看到，忽略未列出的标记）。

你可以告诉它不要忽略它们：

alter text search configuration simple add mapping for tag with simple;

但你最好先复制配置然后修改副本。

您可能还需要自定义字典来处理标签，因为“简单”字典不太可能满足您的需求。

select to_tsvector('simple', 'Link to <a href="//www.yahoo.com">Yahoo!</a> web site') to_tsvector;
                                    to_tsvector                                     
------------------------------------------------------------------------------------
 '</a>':5 '<a href="//www.yahoo.com">':3 'link':1 'site':7 'to':2 'web':6 'yahoo':4

【讨论】：