使用 C++ 解析 robots.txt 文件

Question

是否有任何库可以解析robots.txt，如果它不存在，我如何使用 boost 正则表达式在 c++ 中编写它？

Answer 1

查看 Boost Regex 库中的 examples。如果您编辑您的问题以更好地了解您在 robots.txt 文件中究竟要查找什么，有人可以帮助您使用正则表达式语法。

例如，如果您要查找文件中所有用户代理的名称，您可以使用这样的表达式。

boost::regex expression("^User-agent:\s*(.*)");