将 bigscience bloom 模型用于 discord 机器人答案

【问题标题】：Using bigscience bloom model for discord bot将 bigscience bloom 模型用于 discord 机器人
【发布时间】：2022-12-07 06:13:56
【问题描述】：

我想知道是否可以使用 bigscience/bloom-1b7 模型作为我的 discord.py 机器人的文本生成器，就像他们在这里如何使用 gpt-neo 一样： https://www.youtube.com/watch?v=u_uFjdbTthE&ab_channel=SalvatoreLaPorta

如果有办法以某种方式使用 bloom 模型作为机器人的大脑，怎么做？

我尝试寻找有关如何使用 bloom 的 api 和/或转换器通过 discord.py 接收和发送消息的教程，但我仍然找不到任何东西。我是 api 的新手，所以我仍然不知道如何将两者连接在一起。

【问题讨论】：

是的，这就是我的意思，没有确切的教程（抱歉措辞错误英语不是我的第一语言），所以我正在寻找如何像你说的那样一步一步学习它的说明，但我不知道我不知道去哪里寻找或搜索什么，特别是为了像这样的 API 模型库，而不仅仅是一些随机生成器，我认为 huggingface 网站也没有我正在寻找的东西。这就是为什么我不知道这是否可能
好吧，如果可以通过 bigscience/bloom-1b7 模型生成文本，那么您所做的就是可能的。您也许可以尝试针对您不确定的每个步骤提出一个新问题——一次询问整个问题太宽泛了。如果您不知道如何开始使用该模型生成文本，请专门询问/研究它。
好的，谢谢你至少现在我知道这是可能的。如果我在一两天内仍然找不到任何东西，我会发布另一个问题。

【解决方案1】：

对的，这是可能的。 Bloom 基于 Megatron GPT 模型，该模型也被设计为“因果”语言模型。这里的因果意味着模型生成的文本是基于它之前的单词序列（这称为“单向”）。

因此，根据您希望聊天机器人说什么，您可能希望对自己数据集上的模型进行一些微调。您还可以使用文本预先提示模型以提供上下文。示例预提示：“我是一个不和谐的聊天机器人，我能提供什么帮助？”

获得模型的输出文本后，您可以使用 Discord API 将其输入到您的 Discord 聊天机器人中。

请记住，您的聊天机器人可能无法预测，并且可能不会每次都说同样的话。如果你想要一个可以从预设数量的短语中动态选择的更可预测的聊天机器人，你可以查看这样的教程 - https://www.youtube.com/watch?v=8HifpykuTI4

【讨论】：