allennlp 共指解析 API 的 CUDA 内存问题

Question

嗨，即使我使用多个 GPU，我也有一些 CUDA 内存问题。我在长文档（约 2000 字）上调用共指解析 API。看来内存不是并行的。我该如何解决这个问题？ （我目前正在使用这里的 API https://demo.allennlp.org/coreference-resolution）

Answer 1

coref 模型使用大量内存。它不会自动利用多个 GPU。您可以做的最好的事情是减少您发送给模型的最大序列长度，直到它适合为止。