在 Java 中将 HTML 转换为纯文本答案

【问题标题】：Convert HTML to plain text in Java在 Java 中将 HTML 转换为纯文本
【发布时间】：2023-03-20 13:00:02
【问题描述】：

我需要将 HTML 转换为纯文本。我对格式的唯一要求是在纯文本中保留新行。新行不仅应显示在<br> 的情况下，还应显示在其他标签中，例如<tr/>, </p> 也导致了一条新线路。

用于测试的示例 HTML 页面是：

请注意，这些只是随机 URL。

我已经尝试了this StackOverflow question 的答案中提到的各种库（JSoup、Javax.swing、Apache utils）来将 HTML 转换为纯文本。

使用 JSoup 的示例：

public class JSoupTest {

 @Test
 public void SimpleParse() {
  try {
   Document doc = Jsoup.connect("http://www.particle.kth.se/~lindsey/JavaCourse/Book/Part1/Java/Chapter09/scannerConsole.html").get();
   System.out.print(doc.text());

  } catch (IOException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }
 }
}

HTMLEditorKit 示例：

import javax.swing.text.html.*;
import javax.swing.text.html.parser.*;

public class Html2Text extends HTMLEditorKit.ParserCallback {
 StringBuffer s;

 public Html2Text() {}

 public void parse(Reader in) throws IOException {
   s = new StringBuffer();
   ParserDelegator delegator = new ParserDelegator();
   // the third parameter is TRUE to ignore charset directive
   delegator.parse(in, this, Boolean.TRUE);
 }

 public void handleText(char[] text, int pos) {
   s.append(text);
 }

 public String getText() {
   return s.toString();
 }

 public static void main (String[] args) {
   try {
     // the HTML to convert
    URL  url = new URL("http://www.javadb.com/write-to-file-using-bufferedwriter");
    URLConnection conn = url.openConnection();
    BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()));
    String inputLine;
    String finalContents = "";
    while ((inputLine = reader.readLine()) != null) {
     finalContents += "\n" + inputLine.replace("<br", "\n<br");
    }
    BufferedWriter writer = new BufferedWriter(new FileWriter("samples/testHtml.html"));
    writer.write(finalContents);
    writer.close();

     FileReader in = new FileReader("samples/testHtml.html");
     Html2Text parser = new Html2Text();
     parser.parse(in);
     in.close();
     System.out.println(parser.getText());
   }
   catch (Exception e) {
     e.printStackTrace();
   }
 }
}

【问题讨论】：

@AndersonGreen 你看到日期了吗？这个问题比它被称为重复的问题更早！
@skuntsel 是的！重复的问题仅适用于 Android。
JSoup 有很好的解决方案，见：stackoverflow.com/a/44064930/381161

标签： java parsing plaintext jsoup htmleditorkit

【解决方案1】：

让您的解析器将文本内容和换行符附加到 StringBuilder。

final StringBuilder sb = new StringBuilder();
HTMLEditorKit.ParserCallback parserCallback = new HTMLEditorKit.ParserCallback() {
    public boolean readyForNewline;

    @Override
    public void handleText(final char[] data, final int pos) {
        String s = new String(data);
        sb.append(s.trim());
        readyForNewline = true;
    }

    @Override
    public void handleStartTag(final HTML.Tag t, final MutableAttributeSet a, final int pos) {
        if (readyForNewline && (t == HTML.Tag.DIV || t == HTML.Tag.BR || t == HTML.Tag.P)) {
            sb.append("\n");
            readyForNewline = false;
        }
    }

    @Override
    public void handleSimpleTag(final HTML.Tag t, final MutableAttributeSet a, final int pos) {
        handleStartTag(t, a, pos);
    }
};
new ParserDelegator().parse(new StringReader(html), parserCallback, false);

【讨论】：

【解决方案2】：

我猜你可以使用 ParserCallback。

您需要添加代码来支持需要特殊处理的标签。有：

handleStartTag
handleEndTag
handleSimpleTag

回调应该允许您检查要监视的标签，然后将换行符附加到缓冲区。

【讨论】：

我不知道该怎么做。相反，我只是在所有必需的标签（如
、
等）前面加上 \n 。然后让解析器执行解析。仍然返回的最终字符串在提到的位置不包含新行字符。
@Aniket：当然不是，因为换行符在 HTML 的大多数上下文中没有意义，所以解析器的输出当然不会反映它们在 HTML 源代码中的存在。

【解决方案3】：

以您的示例为基础，带有来自html to plain text? 消息的提示：

import java.io.*;

import org.jsoup.*;
import org.jsoup.nodes.*;

public class TestJsoup
{
  public void SimpleParse()
  {
    try
    {
      Document doc = Jsoup.connect("http://www.particle.kth.se/~lindsey/JavaCourse/Book/Part1/Java/Chapter09/scannerConsole.html").get();
      // Trick for better formatting
      doc.body().wrap("<pre></pre>");
      String text = doc.text();
      // Converting nbsp entities
      text = text.replaceAll("\u00A0", " ");
      System.out.print(text);
    }
    catch (IOException e)
    {
      e.printStackTrace();
    }
  }

  public static void main(String args[])
  {
    TestJsoup tjs = new TestJsoup();
    tjs.SimpleParse();
  }
}

【讨论】：

【解决方案4】：

您可以为此目的使用 XSLT。看看this link，它解决了类似的问题。

希望对你有帮助。

【讨论】：

【解决方案5】：

我会使用SAX。如果您的文档不是格式良好的 XHTML，我会使用 JTidy 对其进行转换。

【讨论】：

【解决方案6】：

JSoup 与 FreeMarker（或任何其他客户/非 HTML 标签）不兼容。将此视为将 Html 转换为纯文本的最纯粹的解决方案。

http://stackoverflow.com/questions/1518675/open-source-java-library-for-html-to-text-conversion/1519726#1519726 我的代码：

return new net.htmlparser.jericho.Source(html).getRenderer().setMaxLineLength(Integer.MAX_VALUE).setNewLine(null).toString();

【讨论】：