查找 sharepoint 2010 中的所有重复文档答案

【问题标题】：Find all duplicate documents in sharepoint 2010查找 sharepoint 2010 中的所有重复文档
【发布时间】：2011-05-19 10:17:18
【问题描述】：

当我们对共享点实例执行一些搜索时，我们会在搜索结果中看到一些文件的“查看重复项”链接。

有没有办法报告所有这些重复项？

我已经看到这里有这个 SQL 来根据它们的 md5 哈希查找重复项：http://social.technet.microsoft.com/forums/en-US/sharepointsearch/thread/8a8b25d9-a3ac-45df-86de-2a3a7838a534 并且我已经在此处更正了用于 SharePoint 2010 兼容性的 SQL：

-- Step1 : get all files with short names, md5 signatures, and size
SELECT  md5 ,
        RIGHT(DisplayURL, CHARINDEX('/', REVERSE(DisplayURL)) - 1) AS ShortFileName ,
        DisplayURL AS Url ,
        llVal / 1024 AS FileSizeKb
INTO    #listingFilesMd5Size
FROM    SearchServiceApplication_CrawlStore.dbo.MSSCrawlURL y
        INNER JOIN SearchServiceApplication_PropertyStore.dbo.MSSDocProps dp ON ( y.DocID = dp.DocID )
WHERE   dp.pid = 58 -- File size
        AND llVal > 1024 * 10 -- 10 Kb minimum in size
        AND md5 <> 0
        AND CHARINDEX('/', REVERSE(DisplayURL)) > 1

-- Step 2: Filter duplicated items

SELECT  COUNT(*) AS NbDuplicates ,
        md5 ,
        ShortFileName ,
        FileSizeKb
INTO    #duplicates
FROM    #listingFilesMd5Size
GROUP BY md5 ,
        ShortFileName ,
        FileSizeKb
HAVING  COUNT(*) > 1
ORDER BY COUNT(*) DESC

DROP TABLE #listingFilesMd5Size

-- Step3 : show the report with search URLs

SELECT  *,
        NbDuplicates * FileSizeKb AS TotalSpaceKb ,
        'http://srv-moss/SearchCenter/Pages/results.aspx?k=' + ShortFileName AS SearchUrl
FROM    #duplicates
--ORDER BY NbDuplicates * FileSizeKb DESC

DROP TABLE #duplicates

但这仅匹配精确的重复项，而我对 SharePoint 根据搜索结果中的“查看重复项”链接认为是重复项感兴趣。

我已经看到有托管属性“DuplicateHash”，但这在任何地方都没有记录，我找不到通过对象模型访问它的方法。

谢谢

【问题讨论】：

标签： sharepoint sharepoint-2010 document-management

【解决方案1】：

您不应该直接查询数据库，您可能会将自己置于不受支持的状态。

关于重复：“搜索重复”与哈希无关。这是由搜索引擎索引比较文档向量（主要是术语和术语数量）来处理的。

您可以尝试找到一个 FQL（如果使用 Fast，否则使用 Search QL）查询，它会为您提供结果，但我不确定这是否可行。

【讨论】：

是的，我知道查询数据库可能会使我们处于不受支持的状态，因此不确定我们应该使用它。我只在我们的开发数据库上使用过它，所以现在没问题。感谢您对 duplicatehash 属性的回复和澄清。