如何使用 GPT 3 进行文本分类？答案

【问题标题】：How can I use GPT 3 for my text classification?如何使用 GPT 3 进行文本分类？
【发布时间】：2020-11-28 23:27:37
【问题描述】：

我想知道是否可以在文本分类问题中使用 OpenAI GPT-3 进行迁移学习？如果是这样，我该如何开始使用 Tensorflow、Keras。

【问题讨论】：

如果你告诉我是哪个文本分类问题，我可以马上测试！ @anveshtummala
我正在寻找文字评论是否仇恨，我想使用我的标记数据来训练模型。
是的，它最有可能做到这一点。请向我提供该标记数据的 3-4 个样本，我检查它是否可以做到这一点并回答您的问题！ @anveshtummala
没有样本@anveshtummala 我无法验证它是否可以做到这一点。一个关于 SO 的好问题提供了重现所需的所有信息。
我确实接受了@gewure

标签： keras text-classification transfer-learning openai gpt-3

【解决方案1】：

（在以下示例中，我用 ******** 替换了仇恨语言）

给定示例：

("You look like ****** *** to me *******", true)
("**** you *********", true)
("**** my ****", true)
("hey my name is John can you help me?", false)
("hey my name is John, i think you ****** ***!", true)
("i have a problem with my network driver hpz-3332d", false)

GPT-3 确实可以确定给定的输入是否可恨。 GPT-3 实际上正在实施过滤器，可以非常有效地判断任意评论是否令人讨厌。您只需输入 msg 并让 GPT3 自动完成最后的 , true|false) 部分，将令牌设置为大约 ~6 并将温度设置为 90%。

布尔型分类也依赖于更复杂的上下文（您可以在不使用粗俗语言的情况下侮辱某人）id 可以用 GPT3 完成，也可以用 GPT2 完成。

【讨论】：

你还有什么问题吗，@anveshtummala？我很乐意回答。
Gewure，我有一个描述 10k 个类别的文档，每个类别都有一个简短的文本（例如：“汽车玩具”：“带轮胎的玩具、小型滑板车、带踏板的小型汽车。它可以是电动的最高速度为 6 公里/小时。孩子们和他们一起玩”）。你认为有可能微调 GPT-3 以便它可以从一些替代描述中预测一个类别作为输入吗？
@NicoLi 很有趣。我认为您可以为此使用 gpt3，是的。但你很可能需要监督结果。我认为您可以使用它来生成描述，然后在必要时手动调整它们。很可能会大大加快这一进程。
我明白了！很想尝试一下，但没有迹象表明 GPT-3 很快会在 Azure 上发布：/
@NicoLi 给我寄一些样品到 singazpacho @ gmail.com 我会为你试一试！ :)