IndexError：无法将“int”放入索引大小的整数中

Question

所以我试图让我的程序从文本文件中打印出每个单词和标点符号的索引，当它出现时。我已经完成了那部分。 - 但问题是当我尝试使用这些索引位置重新创建带有标点符号的原始文本时。这是我的代码：

with open('newfiles.txt') as f:
    s = f.read()
import re
#Splitting string into a list using regex and a capturing group:
matches = [x.strip() for x in re.split("([a-zA-Z]+)", s) if x not in ['',' ']]
print (matches)
d = {} 
i = 1
list_with_positions = []
# the dictionary entries:
for match in matches:
    if match not in d.keys():
        d[match] = i
        i+=1
    list_with_positions.append(d[match])

print (list_with_positions)
file = open("newfiletwo.txt","w")
file.write (''.join(str(e) for e in list_with_positions))
file.close()
file = open("newfilethree.txt","w")
file.write(''.join(matches))
file.close()
word_base = None
with open('newfilethree.txt', 'rt') as f_base:
    word_base = [None] + [z.strip() for z in f_base.read().split()]

sentence_seq = None
with open('newfiletwo.txt', 'rt') as f_select:
    sentence_seq = [word_base[int(i)] for i in f_select.read().split()]

print(' '.join(sentence_seq))

正如我所说的第一部分工作正常，但后来我得到了错误：-

Traceback (most recent call last):
    File "E:\Python\Indexes.py", line 33, in <module>
       sentence_seq = [word_base[int(i)] for i in f_select.read().split()]
    File "E:\Python\Indexes.py", line 33, in <listcomp>
       sentence_seq = [word_base[int(i)] for i in f_select.read().split()]
IndexError: cannot fit 'int' into an index-sized integer

当程序通过'sentence_seq'向代码底部运行时会发生此错误

newfiles 是原始文本文件 - 一篇带有标点符号的多个句子的随机文章

list_with_positions 是每个单词在原文中出现的实际位置的列表

matches 是分隔的不同单词 - 如果文件中重复的单词（它们确实如此）匹配应该只有不同的单词。

有人知道我为什么会收到错误消息吗？

Answer 1

您的方法的问题是使用''.join()，因为这将所有内容连接起来，没有空格。因此，当前的问题是您尝试然后 split() 什么实际上是一长串没有空格的数字；你得到的是一个包含 100 多位数字的单个值。因此，int 在尝试将其用作索引时会溢出一个巨大的数字。更大的问题是指数可能会达到两位数等；当数字没有空格连接时，您希望split() 怎么处理这个问题？

除此之外，您还没有正确处理标点符号。 ' '.join() 在尝试重构句子时同样无效，因为您有逗号、句号等。两边都有空格。

我已尽力坚持您当前的代码/方法（我认为在尝试了解问题的根源时更改整个方法没有巨大价值），但我仍然感到不安。我放弃了regex，也许这是需要的。我没有立即意识到有一个图书馆可以做这种事情，但几乎可以肯定肯定有更好的方法

import string

punctuation_list = set(string.punctuation) # Has to be treated differently

word_base = []
index_dict = {}
with open('newfiles.txt', 'r') as infile:
    raw_data = infile.read().split()
    for index, item in enumerate(raw_data):
        index_dict[item] = index
        word_base.append(item)

with open('newfiletwo.txt', 'w') as outfile1, open('newfilethree.txt', 'w') as outfile2:
    for item in word_base:
        outfile1.write(str(item) + ' ')
        outfile2.write(str(index_dict[item]) + ' ')

reconstructed = ''
with open('newfiletwo.txt', 'r') as infile1, open('newfilethree.txt', 'r') as infile2:
    indices = infile1.read().split()
    words = infile2.read().split()
    reconstructed = ''.join([item + ' ' if item in punctuation_list else ' ' + item + ' ' for item in word_base])