如何构建特定的语料库 - 算法说明

Question

我正在做一个项目，我需要构建一个算法句子语料库。换句话说，我需要一个由句子组成的语料库，其中每个句子都是用自然语言英语表达的算法指令。示例：

• 将 5 分配给 X
• 将变量 X 乘以 5
• 声明一个名为 Z 的变量

我做了一些研究，发现了这个 Google BigQuery - 堆栈内存溢出。我仍在探索它，我不确定它是否对我有帮助。我正在考虑网络爬取 Stack Overflow，但它看起来非常嘈杂。在这种情况下是否有任何现成的数据集或 API？你知道有哪些网站充满了我可以抓取的算法指令吗？

欢迎任何想法，请帮助我！

Answer 1

似乎您可以生成尽可能多的它们，并带有一组您想要使用的条件和说明。可能您应该遵循在一组“变量”、“数字”和“运算符”之间随机抽样的生成方法来生成此类指令。

例如：假设您要生成指令：

• 涉及x、y和z的变量。
• 涉及5、6 和7 的数字。
• 运营商涉及add、subtract、multiply。

然后您的流程将选择一个运算符，选择一个数字并选择一个变量，并基本上根据所涉及的运算符生成一条指令。或者在同一条线上的东西。关键是要继续进行这种随机抽样，并根据需要生成尽可能多的指令。此外，如果您的变量和数字集足够多，您最终可以得到一个相当不错的指令列表。

希望对您有所帮助。