法语相似度插件答案

【问题标题】：Similarity plugin with French Language法语相似度插件
【发布时间】：2020-11-16 10:28:01
【问题描述】：

我正在使用带有 org.apache.lucene.analysis.fr.FrenchAnalyzer 的 Similarity 插件，在搜索一个单词的紧密术语时我得到了奇怪的结果。一些候选术语表示以一种奇怪的方式被破坏，例如： pieuvre -> pieuvr, mobile -> mobil, chouette -> chouet, pattes -> pate, mieux -> mieu 和“中心”字电话 -> 电话。与“téléphone”一词相似：

我加入了微小的 rdf 示例：

@prefix : <http://data.edf.fr/ontologies/ideeShaker#> .
@base <http://data.edf.fr/data/ideeShaker/>
@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> .
@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> .
@prefix xsd: <http://www.w3.org/2001/XMLSchema#> .

<1> a :Idee;
  :content "Le téléphone à pieuvre n’est pas mobile.";
  rdfs:label "Test1" .

<2> a :Idee;
  :content "Un tien vaut mieux que 2 téléphones";
  rdfs:label "Test2" .

<3> a :Idee;
  :content "La pieuvre a huit pattes";
  rdfs:label "Test3" .

<4> a :Idee;
  :content "La pieuvre et mobile Dick";
  rdfs:label "Test4" .

<5> a :Idee;
  :content "Pieuvre possède un portable";
  rdfs:label "Test5" .

<6> a :Idee;
  :content "Le téléphone à pieuvre c’est nul";
  rdfs:label "Test6" .

<7> a :Idee;
  :content "Le téléphone mobile c’est chouette";
  rdfs:label "Test7" .

<8> a :Idee;
  :content "Une pieuvre est mobile";
  rdfs:label "Test8" .

<9> a :Idee;
  :content "Une pieuvre et un téléphone";
  rdfs:label "Test9" .

<10> a :Idee;
  :content "Telephone à la pieuvre";
  rdfs:label "Test10" .

您认为这个问题与 Lucene 分析器或 GraphDB 集成有关吗？

【问题讨论】：

标签： similarity graphdb french

【解决方案1】：

您可以使用以下“创建索引参数”：

-trainingcycles 。

以下内容将清除大部分不需要的结果。

请注意，此参数应在创建索引时使用。

【讨论】：

但我不明白为什么这可以避免单词截断
这不会避免单词截断。它将消除回声。这就是底层语义向量库的工作方式。最相似的构建向量始终是单词的词根（对于英语）。
法语中暴露的词根看起来很奇怪
这就是 Lucene 的法语（或任何其他）分析器 Stemmer 的工作方式。在 Lucene 文档中描述了如何处理这个问题，
如果我理解我在blog.trifork.com/2011/12/07/… 上读到的内容，问题出在FrenchStemmer，它对单词过于激进，必须用FrenchLightStemmer 替换。我不知道 GraphDB 中嵌入了哪个词干分析器，如果需要，我不知道如何实现替换。