向 Solr 发布更新会导致重复答案

【问题标题】：Issuing update to Solr makes Duplicates向 Solr 发布更新会导致重复
【发布时间】：2016-07-09 08:28:23
【问题描述】：

前几天我刚开始使用 Solr 6.0，并制作了一个脚本，用于通过使用 curl 的 php 脚本更新 Solr 索引。但是现在，使用下面的 php 脚本更新时会出现重复的条目。

现在的架构是这样的：id（唯一键字段）、url、关键字、描述、标题。

这是因为我没有使用架构在 url 上指定明确的唯一键字段吗？

我希望将 url 作为唯一键，这样它将防止 Solr 在更新时索引重复项，并在重复时覆盖。你是怎么做到的？

<?php
// apt-get install php5 libapache2-mod-php5 php5-curl


// curl 'http://localhost:8983/solr/update/csv?fieldnames=url,keywords,description,title&commit=true' -H 'Content-type:text/plain; charset=utf-8' --data-binary @$file


$SOLR_SERVER = '127.0.0.1';
$CORE = 'core1';
ob_start();
$callback = &$_REQUEST['fd-callback'];
$url = 'http://'. $SOLR_SERVER .':8983/solr/'. $CORE .'/update/csv?fieldnames=url,keywords,description,title&commit=true';

if (!empty($_FILES['fd-file']) and is_uploaded_file($_FILES['fd-file']['tmp_name'])) {
    $name = $_FILES['fd-file']['name'];
    $data = file_get_contents($_FILES['fd-file']['tmp_name']);
} else {
    $name = urldecode(@$_SERVER['HTTP_X_FILE_NAME']);
    $data = file_get_contents("php://input");
}

$header = array("Content-type:text/csv; charset=utf-8");
$post = $data;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_POST, TRUE);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
//curl_setopt($ch, CURLOPT_VERBOSE, TRUE); 
curl_exec($ch);
curl_close($ch);
if ($ch) {
    $output = 'Upload Success!';
}else {
    $output = 'Upload did not work!';
}

// $opt = &$_REQUEST['upload_option'];
// isset($opt) and $output .= "\nReceived upload_option with value $opt";
if ($callback) {
    header('Content-Type: text/html; charset=utf-8');
    $output = addcslashes($output, "\\\"\0..\x1F");
    echo '<!DOCTYPE html><html><head></head><body><script type="text/javascript">',
       "try{window.top.$callback(\"$output\")}catch(e){}</script></body></html>";
} else {
    header('Content-Type: text/plain; charset=utf-8');
    echo $output;
}

?>

【问题讨论】：

标签： php database solr full-text-search

【解决方案1】：

如果您希望 URL 唯一地标识文档，请将 url 字段定义为您的 uniqueKey。如果你有一个 id 字段定义为你的 uniqueKey，但提交具有不同 id 的相同 URL，Solr 无法知道这些文档是同一个对象。

另一种选择是使用 id 字段来实际引用唯一的 URL，无论是作为哈希还是来自您的数据库。

【讨论】：

感谢您的回答。是否可以使用 SchemaAPI 更改 uniqueKey？我试过 curl -X POST -H 'Content-type:application/json' --data-binary '{ "add-field" : { "name":"url", "type":"string", "stored" :true, "uniqueKey":true}}' localhost:8983/solr/core1/schema 但它不起作用。
不，目前不可能：issues.apache.org/jira/browse/SOLR-7242 - 您可以将“url”复制到您的“id”字段以暂时绕过它。

【解决方案2】：

非常感谢 MatsLindh，

我已经想出办法了。

首先，我改变了：

 $url = 'http://'. $SOLR_SERVER .':8983/solr/'. $CORE .'/update/csv?fieldnames=url,keywords,description,title&commit=true';

收件人：

$url = 'http://'. $SOLR_SERVER .':8983/solr/'. $CORE .'/update/csv?fieldnames=id,keywords,description,title&commit=true';

并添加了

<copyField source="id" dest="url"/>

下

  <field name="description" type="strings"/>
  <field name="id" type="string" multiValued="false" indexed="true" required="true" stored="true"/>
  <field name="keywords" type="strings"/>
  <field name="title" type="strings"/>
  <field name="url" type="strings"/>

在托管模式中。

按照您的建议，我使用 copyField 将 id 复制到 url。它现在工作正常，没有显示重复项。

所以，改变的是，我让上传者将url更新为id，并使用copyField将其复制到url字段。

【讨论】：