Android Studio上的PDFBox文本提取连字“fi”，“fl”问题

Question

我在 Android Studio 库中使用这个 https://github.com/TomRoush/PdfBox-Android PDFBox 从 PDF 文档中提取文本。这就是我正在做的事情：

File pdf_file = new File(file_path);

创建文件，然后

PDDocument document = null;
document = PDDocument.load(pdf_file);

将文件加载到 PDDocument 对象中，然后

PDFTextStripper pdfStripper = new PDFTextStripper();
pdfStripper.setStartPage(...);
pdfStripper.setEndPage(...);
String page_text = pdfStripper.getText(document);

获取页面的文本内容。问题是当有例如“公司”这个词时，它会显示为“公司”。它基本上在 fi 之后放置一个空格（我猜是 fls 和其他连字）。我尝试阅读此Problems with extracting OpenTypeFont text using pdfBox，但我不明白如何解决它。没有解决方案详情。

重要提示：事实证明，在我的 PDF 文件中，我没有任何连字，例如 fi，但我有常规 fi，但它后面还有空格。解决方案尚不清楚。

PDF 文件：https://wetransfer.com/downloads/09e9036dda4a7962ccad32b1cbcd8edc20200506050349/ab4752

Answer 1

问题是，例如，当有“公司”这个词时，它会显示为“公司”。

原因很简单：“fi”后面有一个空格！

这是绘制示例文件中第一次出现“公司”的线条的文本绘制指令：

 [( )360.3(Mr Dursley was the director of a “)250( )110.3(rm called Grunnings, )]TJ

字节 “ (147) 通过字体编码映射到字形名称 fi 并通过字体的 ToUnicode 映射到Unicode 字符 U+fb01，拉丁小连字 fi。

因此，PDF 查看器显示连字字形 fi，文本提取器提取 Unicode 连字字符 fi 或扩展后的字符 f强>和我。

在连字之后，绘制下一个字形的起点向左移动 250 个单位，然后绘制一个空格，然后下一个起点向左移动 110.3 个单位，然后绘制“rm”。

因此，您在查看器中看不到“fi”和“rm”之间的间隙（因为向左移动会抵消空格字形的绘制），但文本提取器会提取空格字符（因为它在那里） .

您可以检查这不是 PDFBox 怪癖，例如带有复制和粘贴功能的 Adob​​e Reader 将该文本行提取为

Mr Dursley was the director of a fi rm called Grunnings,

就像 PDFBox 一样，它扩展连字并提取空格字符。

Answer 2

正如评论中提到的，我曾经遇到过类似的连字问题。我不得不检查 PDF 文件中的某些字符串，并且想知道为什么它对某些字符串不起作用。经过分析，我发现这些文件包含连字，因此即使在视觉上包含它，我也找不到“Textfield”。我的解决方案是不仅要搜索 textfield，还要搜索 textfield - 所以搜索两个字符串，一个有连字，一个没有连字。

您说您想从 pdf 文件中提取文本。所以我会添加一个后处理步骤。

1. 像现在这样提取文本
2. 搜索所有连字，例如"fi" 和 "fi" 并将其替换为 "fi"。

我的文档在连字后没有空格 - 所以我会考虑这两种情况。并且还应考虑单词结尾的情况（例如 buffi）（那么可能是两个空格？）。

一个通用词：这个话题并不容易，因为您已经研究过。此步骤称为NFKC normalization。在 pdfbox 2.X 中，这是在内部完成的（cp. PDFBOX-2384），但在 pdfbox 1.X 中，TextNormalize.java 是 doing it。

更新：

您可以尝试的另一种可能性是更改 PDFTextStripper.java。有一种方法叫做normalizeWord(...)。它将单个“fi”连字转换为“f”和“i”。在那里你可以添加

//line 1971...
//for PDFs where ligatures are followed by a space (e.g. "fi ve") 
if(word.substring(q+1,q+2).equals(" ")) {
  p = q + 2;
}
else {
  p = q + 1;
}

但我只使用 pdfbox 2.0.19 进行了尝试（看来您使用的是 1.8.X）。好消息是它仅在找到连字时应用。然而，由于以连字结尾的单词存在问题，这似乎不是一个通用的解决方案。但是在您的情况下，您应该没问题，因为每个连字后似乎始终有一个空格。