【发布时间】：2019-01-22 04:53:58
【问题描述】：
我正在使用 Nutch 1.10 为我的组织抓取网站。我使用具有 16Gb RAM 的系统来执行此爬取。截至目前，我的 nutch 文件在爬取数据时仅使用 3-4Gb 的 RAM，完成它需要将近 10 个小时。有什么方法可以让我将 nutch 配置为使用超过 12Gb 的 RAM 来完成相同的任务？欢迎所有建议！
【问题讨论】：
【发布时间】：2019-01-22 04:53:58
【问题描述】：
假设脚本 bin/nutch 或 bin/crawl 用于本地模式（无 Hadoop 集群）爬取：环境变量 NUTCH_HEAPSIZE 定义堆大小（MB）。
【讨论】：
-
感谢您的回答。你能告诉我在哪里设置 NUTCH_HEAPSIZE。我总共有 30 个不同的配置文件和 30 个不同的 seed.txt 文件。提前谢谢先生。
-
仅供参考，我机器中的总 RAM 为 16Gb，我使用这台机器只是为了将数据抓取并索引到 SOLR 中。