如何使用 spacy 的 nlp.pipe 功能跟踪进度？

【问题标题】：How to track progress with nlp.pipe function of spacy?如何使用 spacy 的 nlp.pipe 功能跟踪进度？
【发布时间】：2021-09-10 11:09:01
【问题描述】：

我正在使用 Python 和 Spacy 进行编码。我想跟踪nlp.pipe(sentences) 的执行进度，因为它持续了很多时间。该怎么做？

nlp = spacy.load('en_core_web_sm')
sentences = [...]
docs = nlp.pipe(sentences, n_process=8)

【问题讨论】：

【解决方案1】：

使用tqdm。

from tqdm import tqdm

nlp = spacy.load('en_core_web_sm')
sentences = [...]
for doc in tqdm(nlp.pipe(sentences, n_process=8)):
    ... do stuff ...

【讨论】：

7465it [00:37, 197.51it/s] 我没有进度条。你知道为什么吗？你用nlp.pipe测试过吗？
请阅读 tqdm 文档。 nlp.pipe 返回一个生成器，所以 tqdm 不知道它有多长。你可以做tqdm(nlp.pipe(sentences), total=len(sentences))。 stackoverflow.com/questions/41985993/…