如何在 PyCharm 中设置 PYTHONHASHSEED 环境变量以测试 Word2Vec 模型？

Question

我需要编写一个完全可重现的 Word2Vec 测试，并且需要将 PYTHONHASHSEED 设置为固定值。这是我目前的设置-yp

# conftest.py
@pytest.fixture(autouse=True)
def env_setup(monkeypatch):
    monkeypatch.setenv("PYTHONHASHSEED", "123")

# test_w2v.py

def test_w2v():
    assert os.getenv("PYTHONHASHSEED") == "123"
    expected_words_embeddings = np.array(...)
    w2v = Word2Vec(my_tokenized_sentences, workers=1, seed=42, hashfxn=hash)
    words_embeddings = np.array([w2v.wv.get_vector(word) for word in sentence for sentence in my_tokenized_sentences)])
    np.testing.assert_array_equal(expected_words_embeddings, words_embeddings)

这是奇怪的事情。

如果我通过PYTHONHASHSEED=123 python3 -m pytest test_w2v.py 从终端运行测试，则测试通过，没有任何问题。但是，如果我从 PyCharm 运行测试（使用 pytest，从编辑配置 -> 模板 -> Python 测试 -> pytest 设置），那么它会失败。最有趣的是，它不会在assert os.getenv("PYTHONHASHSEED") == "123" 失败，但它会在np.testing.assert_array_equal(expected_words_embeddings, words_embeddings) 失败

为什么会出现这种情况，有没有办法解决这个问题？

Answer 1

不能在 Python 代码中设置PYTHONHASHSEED；它需要在 Python 解释器启动之前设置，因为这是解释器唯一一次咨询它。您可以在启动 PyCharm 之前全局设置它，或者可能有一个 PyCharm 选项来为您从 PyCharm 触发的任何执行环境设置环境变量。 （例如：How to set environment variables in PyCharm?）

但更一般地说，您通常不应该尝试让您的 gensim Word2Vec 测试这种确定性。

如果您要测试的任何东西 对精确参数敏感 - 因为只有精确播种和（慢得多）单线程训练才能在您选择的容差范围内，或者得到您复制的精确答案从较早的运行 - 那么你并没有真正验证算法在它通常受到的真正随机性下的贡献。在gensim FAQ 中查看更多讨论。