如何让我的python代码更有效？

Question

我正在构建用于 SVM 的单词 n-gram 训练向量。我运行了我的代码，但花了我太多时间，超过 10 个小时。你有什么方法让它更快吗？

def wordNgrams(s,n):
    """Calculate word n-grams and return a dictionary"""
    input = s.split(' ')
    output = {}
    for i in xrange(len(input)-n+1):
        g = " ".join(input[i:i+n]).lower()
        output.setdefault(g,0)
        output[g] += 1
    return output

res 是 10000 个字符串的列表，每个字符串平均有 300 个单词。 global_vector 是 200000 个单词 2-gram 的排序列表。

X = []
for i in xrange(10000):
     word_dic = wordNgrams(res[i], 2)
     vector1 = {key : 1 if key in word_dic else 0 for key in global_vector}
     od = OrderedDict(sorted(vector1.items(), key = lambda t : t[0]))
     X.append(od.values())

说实话，需要 2 或 3 个小时是很常见的。但是我花了10多个小时。我真的没有我应该做的。请帮我。

Answer 1

我认为你在循环中运行的sorted 调用是唯一可以优化的东西。其他一切似乎都是渐近最优的（可以通过各个地方的小因素来改善事物，但不能通过大量因素）。

如果您的global_vector 已经排序，您可以通过直接创建结果列表来避免对结果进行排序，而不是先通过无序的字典。这是一个使用列表推导的快速版本：

X = []
for text in res:
    word_dic = wordNgrams(text, 2)
    X.append([1 if bigram in word_dic else 0 for bigram in global_vector])

这应该是O(M*N) + O(M*P)，其中M 是res 的长度，N 是global_vector 的长度，P 是文本的平均长度。由于额外的排序，您的原始代码在第一个术语中包含了一个额外的 log(N) 因子。