我如何知道 GPT-3 请求使用了多少令牌？

Question

我正在围绕 GPT-3 构建一个应用程序，我想知道我提出的每个请求使用了多少令牌。这可能吗？如何？

Answer 1

OPEN-AI 通过代币对 GPT-3 的使用收费，这同时计算提示和答案。对于 OPEN-AI，750 个单词相当于大约 1000 个令牌或令牌与单词的比率为 1.4 。代币的定价取决于您的计划。

我不知道更准确的成本估算方法。也许使用 Hugging face 的 GPT-2 标记器会有所帮助。我知道来自 GPT-2 标记器的标记在传递到 logit 偏差数组中的 GPT-3 时会被接受，因此 GPT-2 标记和 GPT-3 标记之间存在一定程度的等价性。

但是 GPT-2 和 GPT-3 模型是不同的，而且 GPT-3 的参数比 GPT-3 多，所以 GPT-2 的估计值可能更低。我相信您可以编写一个简单的程序，通过比较提示和令牌使用情况来估算价格，但这可能需要一些时间。