Keras pad_sequences 以 10 为基数为 int () 抛出无效文字

Question

Traceback (most recent call last):
    File ".\keras_test.py", line 62, in <module>
        X_train = sequence.pad_sequences(X_train, maxlen=max_review_length)
    File "C:\Program Files\Python36\lib\site-packages\keras\preprocessing\sequence.py", line 69, in pad_sequences
        trunc = np.asarray(trunc, dtype=dtype)
    File "C:\Program Files\Python36\lib\site-packages\numpy\core\numeric.py", line 531, in asarray
    return array(a, dtype, copy=False, order=order)
ValueError: invalid literal for int() with base 10: "plus 've added commercials experience tacky"

你好。 尝试使用 Keras 的 pad_sequence 函数时出现此错误。 X_train 是一个字符串序列，其中“plus 've added commercials experience tacky”是这些字符串中的第一个。

Answer 1

pad_sequence 函数的默认数据类型为“int32”：

keras.preprocessing.sequence.pad_sequences(sequences, maxlen=None, dtype='int32', 
                                           padding='pre', truncating='pre', value=0.)

您传递的数据是一个字符串。

---

除此之外，您不能在 keras 模型中使用字符串。

您必须“标记化”这些字符串。即使你可能认为它可以填充字符串，你也必须决定它用什么字符填充：

• 空格？但空格可能是有意义的字符
• 空字符？最好的主意，但是如何增加带有空字符的字符串的长度？
• 如果您使用的是单词而不是字符，其中每个标记/id 具有不同的字符串长度，该怎么办？

这就是为什么您必须创建一个整数 id 值字典，以表示现有数据中的每个字符或单词。并在 ids 列表中转换所有字符串

那么您可能会从使用Embedding 层启动模型中受益。

---

例如，如果您使用的是单词 ID：

Word 0: null word
Word 1: end of sentence
Word 2: space character (maybe not important to some languages)    
Word 3: a
Word 4: added
Word 5: am    
Word 6: and
....
Word 520: plus
Word 2014: 've
Word 
etc.....

那么你的句子将是一个列表：[520, 2014, 4, ....]