如何将单词映射到数字以输入到 Tensorflow 神经网络

Question

我正在尝试使用 Python 中的 Tensorflow 构建一个具有 seq2seq 神经网络实现的聊天机器人。我以前从未做过 seq2seq，而且我的大部分研究都没有什么帮助。

我不会直截了当地要求序列到序列聊天机器人的代码。相反，我的问题是如何最好地准备一个单词列表作为网络的输入。我还没有深入了解代码，但是我制作了一个脚本，该脚本将从文件中加载训练数据并对其进行标记。

但是，显然 Tensorflow 神经网络不能接受字符串作为输入。我需要将这些字符串转换为网络知道如何处理的数据；即数字。

到目前为止，这是我的代码；希望 cmets 让您了解我在哪里：

#Import dependencies
import tensorflow as tf

#Fetch and preprocess data

#Define a tokenizer function
def tokenize(string):
    tokenized_list = []
    tmp_indx = 0
    for i in range(len(string)):
        if string[i] in "?.,!;":
            tokenized_list.append(string[tmp_indx:i])
            tokenized_list.append(string[i])
            tmp_indx = i+1
        elif string[i] == " ":
            tokenized_list.append(string[tmp_indx:i])
            tmp_indx = i+1

    #A quick and dirty way out :/
    tokenized_list = [x for x in tokenized_list if x!=""]


    return tokenized_list


raw_file_data = ""
with open("training_dialogue.txt") as file:
    raw_file_data = file.read()
raw_file_data = raw_file_data.split("\n")

#Train data as list of values like so: [query, target_response]
train_data = []

for i in range(0,len(raw_file_data)):
    if i%2!=0:
        #Perform the most basic tokenization algorithm
        query = tokenize(raw_file_data[i-1])
        target_response = tokenize(raw_file_data[i])
        train_data.append([query, target_response])

#Now that I have a list of tokens in the form of strings, I need to map these to numbers somehow


#Load encoder and decoder networks



#Define hyperparameters


#Train them on the data

如果有人能告诉我如何以某种方式将这些单词处理成数字，那就太好了。我还需要能够将它们从数字变成文字。

Answer 1

我相信最好的方法是创建映射到数字的单词字典/索引。这也有助于将数字转换回单词。 this 线程以及 NLP 上下文中讨论了相同的问题。

基于此建议的代码 -

wordList = []
wordMap = {}
def getNumber(word):
  if word in wordMap:
    return wordMap[word];

  wordIndex = len(wordList)
  wordList.append(word)
  wordMap[word] = wordIndex
  return wordIndex

def getWord(number):
  if number < len(wordList):
    return wordList[number]

  raise Exception("Unable to find Word for [{}]".format(number))

# Main
print(getNumber('Hello'))
print(getNumber("World"))
print(getWord(getNumber("World")))