如何使用 URL 或任何其他方法从 Amazon 读取 html 代码？ 503代码出现答案

【问题标题】：How can I read an html code from Amazon by using URL or any other method ? 503 Code Appears如何使用 URL 或任何其他方法从 Amazon 读取 html 代码？ 503代码出现
【发布时间】：2021-06-15 05:03:13
【问题描述】：

当我尝试编译这段代码时

 URL url = new URL("https://www.amazon.com");
  BufferedReader bufr = new BufferedReader(new InputStreamReader(url.openStream()));
  String data;
  while ((data=bufr.readLine())!=null)
  System.out.println(data);

它说：java.io.IOException：服务器返回 HTTP 响应代码：503 用于 URL：https://www.amazon.com
如何在亚马逊网址中搜索单词？

【问题讨论】：

我怀疑您遇到了亚马逊为阻止人们抓取他们的网站而设置的东西。（阅读亚马逊条款和条件。）

标签： java url amazon bufferedreader http-error

【解决方案1】：

我阅读了几个链接，了解到需要添加 User-Agent 值来修复 503 错误。下面是示例代码。

        URL url = new URL("https://www.amazon.com");
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestProperty("User-Agent",
                "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

        BufferedReader bufr = new BufferedReader(new InputStreamReader(conn.getInputStream()));
        String data;
        while ((data = bufr.readLine()) != null)
            System.out.println(data);

【讨论】：