处理（过多）许多 XML 文件（使用 TagSoup）

Question

我有一个包含大约 4500 个 XML (HTML5) 文件的目录，我想为它们的数据创建一个“清单”（主要是 title 和 base/@href）。

为此，我一直在使用一个函数来收集所有相关的文件路径，用 readFile 打开它们，将它们发送到基于 tagoup 的解析器中，然后输出/格式化结果列表。

这适用于文件的子集，但最终会遇到openFile: resource exhausted (Too many open files) 错误。阅读后，这并不奇怪：我使用的是mapM parseMetaDataFile files，它会立即打开所有手柄。

我不知道如何解决这个问题。我试着读了一些关于 Iteratee 的文章；我可以轻松地将其与 Tagsoup 挂钩吗？严格的 IO，无论如何我使用它的方式（呵呵），即使文件不是很大（平均 28 KB），也会冻结我的计算机。

任何指针将不胜感激。我意识到创建一个大列表的方法也可能会失败，但 4.5k 元素并没有那么长......而且，可能到处都有更少的 String 和更多的 ByteString。

这里有一些代码。我为我的天真道歉：

import System.FilePath
import Text.HTML.TagSoup

data MetaData = MetaData String String deriving (Show, Eq)

-- | Given HTML input, produces a MetaData structure of its essentials.
-- Should obviously account for errors, but simplified here.
readMetaData :: String -> MetaData
readMetaData input = MetaData title base
 where
  title =
    innerText $
    (takeWhile (~/= TagClose "title") . dropWhile (~/= TagOpen "title" []))
    tags
  base = fromAttrib "href" $ head $ dropWhile (~/= TagOpen "base" []) tags
  tags = parseTags input

-- | Parses MetaData from a file.
parseMetaDataFile :: FilePath -> IO MetaData
parseMetaDataFile path = fmap readMetaData $ readFile path

-- | From a given root, gets the FilePaths of the files we are interested in.
-- Not implemented here.
getHtmlFilePaths :: FilePath -> IO [FilePath]
getHtmlFilePaths root = undefined

main :: IO
main = do
  -- Will call openFile for every file, which gives too many open files.
  metas <- mapM parseMetaDataFile =<< getHtmlFilePaths

  -- Do stuff with metas, which will cause files to actually be read.

Answer 1

如果你想保留当前的设计，你必须确保 parseMetaDataFile 在返回之前已经消耗了 readFile 的整个字符串。当 readFile 到达文件末尾时，文件描述符将被关闭。

Answer 2

快速而肮脏的解决方案：

parseMetaDataFile path = withFile path $ \h -> do
    res@(MetaData x y) <- fmap readMetaData $ hGetContents h
    Control.Exception.evaluate (length (x ++ y))
    return res

更好的解决方案是为MetaData 编写一个适当的NFData 实例，而不是仅仅使用评估。