索引solr文件夹内的所有文件

Question

我在 solr 中索引文件夹时遇到问题

示例数据配置.xml：

<dataConfig>  
<dataSource type="BinFileDataSource" />
    <document>
        <entity name="files" 
        dataSource="null" 
        rootEntity="false"
        processor="FileListEntityProcessor"
        baseDir="C:\Temp\" fileName=".*"
        recursive="true"
        onError="skip">
            <field column="fileAbsolutePath" name="id" />
            <field column="fileSize" name="size" />
            <field column="fileLastModified" name="lastModified" />

            <entity
                name="documentImport"
                processor="TikaEntityProcessor"
                url="${files.fileAbsolutePath}"
                format="text">
                <field column="file" name="fileName"/>
                <field column="Author" name="author" meta="true"/>
                <field column="text" name="text"/>

            </entity>
    </entity>
    </document> 

然后我创建 schema.xml：

    <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
    <field name="fileName" type="string" indexed="true" stored="true" />
    <field name="author" type="string" indexed="true" stored="true" />
    <field name="title" type="string" indexed="true" stored="true" />
    <field name="size" type="plong" indexed="true" stored="true" />
    <field name="lastModified" type="pdate" indexed="true" stored="true" />
    <field name="text" type="text_general" indexed="true" stored="true" multiValued="true"/>

最后我修改了 solrConfig.xml 文件，添加了 requesthandler 以及 dataImportHandler 和 dataImportHandler-extra jars：

    <requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
        <str name="config">example-data-config.xml</str>
    </lst>
</requestHandler>

我运行它，结果是：

在该文件夹内有大约 20.000 个不同格式的文件（.py、.java、.wsdl 等）

任何建议将不胜感激。谢谢:)

Answer 1

检查您的 Solr 日志。什么是Root Cause 的答案肯定会出现。我也遇到过同样的情况，通过 solr 日志发现我的DataImportHandler 正在抛出异常，因为文件夹中存在encrypted documents。您的原因可能不同，但首先分析您的 solr 日志，在DataImport 部分再次执行您的entity，然后通过管理页面上的logging 部分检查即时日志是否有错误。如果您遇到我提到的错误以外的错误，请在此处发布，以便理解和破译。