您使用 GPT-3 从多篇文章中提取摘要段落的方法是什么？

Question

在以下场景中，使用 GPT-3 API 的最佳方法是什么？

1. 你需要写一个简短的段落，关于具体主题
2. 您的段落必须基于一组文章，3-6 篇文章，以未知结构编写

   这是我发现效果很好的方法：

   1. 主要约束是提示中的开放ai代币限制
   2. 由于限制，我会要求 OPT-3 使用提示请求中的特定主题来解析非结构化数据。
   3. 然后我将迭代每篇文章并将其全部保存到 1 个字符串变量中
   4. 然后，最后一次重复，但使用新的字符串变量
   5. 如果文章太长，我会把它分成小块
   6. 诅咒微调，之前带有特定主题的模型会产生更好的结果
   7. temperature 应设置为0，以确保 GPT-3 仅使用数据源中的事实。

      例子： 假设我想写一段关于主题 A、主题 B 和主题 C 的文章。我有 5 篇文章作为参考。 开放的 ai playground 看起来像这样：

      Example Article 1
      ----
      Subject A: example A for OPT-3
      Subject B: n/a
      Subject c: n/a
      =========
      Example Article 2
      ----
      Subject A: n/a
      Subject B: example B for GPT-3
      Subject C: n/a
      =========
      Example Article 3
      ----
      Subject A: n/a
      Subject B: n/a
      Subject c: example for GPT-3
      =========
      Article 1
      -----
      Subject A:
      Subject B:
      Subject C:
      =========
      ... repeating with all articles, save to str
      =========
      str
      -----
      Subject A:
      Subject B:
      Subject C:
      

Answer 1

可以使用 Python 库 GPT Index（MIT 许可证）来总结一组文档。来自documentation：

index = GPTTreeIndex(documents)
response = index.query("<summarization_query>", mode="summarize")

基于树的查询的“默认”模式是从图的顶部向下遍历到叶节点。出于汇总目的，我们将使用mode="summarize"。

汇总查询可能如下所示：

• “这个文本集的摘要是什么？”
• “请给我 X 先生在公司的经历总结。”