如何使用字典映射 tf.data.Dataset 中的值

Question

这是所需映射的简单用例。将整数标签映射到 one-hot 编码。我想提一下，对于这种特殊情况，应该使用tf.one_hot。但我想了解如何使用字典映射数据集。

import tensorflow as tf
import numpy as np

#CREATE A ONE-HOT ENCODING MAPPING
mike_labels = [164, 117, 132, 37, 66, 177, 225, 33, 28, 75, 7]
num_classes = len(mike_labels)
one_hots = np.eye(len(mike_labels))
one_hots = one_hots.tolist()
#used to convert labels to corresponding one-hot encoding
label_encoder = {orig: onehot for orig, onehot in zip(mike_labels, 
one_hots)}
print (label_encoder[164])
print (label_encoder[28])

#CREATE A FAKE DATASET
raw_data = [[164],[28],[132],[7]]
dataset = tf.data.Dataset.from_generator(lambda: raw_data, tf.float32, output_shapes=[None])

iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()

with tf.Session() as sess:
    print(sess.run(next_element))
    print(sess.run(next_element))

代码打印出 4 个值。第一个是直接从字典中获取的所需单热编码。后两个打印值是数据集中的前两个值。每个元素都显示为一个包含单个浮点数的列表。

[1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0]
[ 164.]
[ 28.]

理想的答案将显示如何将数据集中的所有值更改为字典中相应的单热编码，使用提供的字典，不会使用@ 987654324@.

Answer 1

可以使用 lambda 函数映射标签。 dataset.map 函数为数据集的每个元素调用该函数。映射中的 lambda 函数将使用 tf.py_func 调用另一个函数。

tf.py_func 允许将张量视为 np 数组，因为无法将张量提供给字典。函数的返回值将是一个浮点数列表，tf.py_func 需要每个浮点数的数据类型，所以这是通过列表理解给出的：

dataset = dataset.map(lambda label: tf.py_func(practice_py_func, [label], [tf.float32 for i in range(num_classes)]))

将调用以下函数。首先，我们从接收到的 numpy 数组中获取一个列表。此列表包含单个元素（标签）。因此，我们获取位置 0 的元素并使用字典找到相应的 one-hot 编码。由于 tensorflow 似乎抛出了一个奇怪的错误，即接收到的值是双精度而不是预期的浮点数，因此我们将其转换为 float32。然后返回 one-hot 编码。

def practice_py_func(arg1):
    temp = arg1.tolist() #convert the numpy array to a list
    l = label_encoder[temp[0]] #look up the encoding in the dictionary
    output = [np.float32(val) for val in l] #convert each value in the encoding to a float
    return output

整个解决方案如下所示：

import tensorflow as tf
import numpy as np

#CREATE A ONE-HOT ENCODING MAPPING
mike_labels = [164, 117, 132, 37, 66, 177, 225, 33, 28, 75, 7]
num_classes = len(mike_labels)
one_hots = np.eye(len(mike_labels))
one_hots = one_hots.tolist()
#used to convert labels to corresponding one-hot encoding
label_encoder = {orig: onehot for orig, onehot in zip(mike_labels, one_hots)}
print (label_encoder[164])
print (label_encoder[28])

#CREATE A FAKE DATASET
raw_data = [[164],[28],[132],[7]]
dataset = tf.data.Dataset.from_generator(lambda: raw_data, tf.float32, output_shapes=[None])


def practice_py_func(arg1):
    temp = arg1.tolist() #convert the numpy array to a list
    l = label_encoder[temp[0]] #look up the encoding in the dictionary
    output = [np.float32(val) for val in l] #convert each value in the encoding to a float
    return output

dataset = dataset.map(lambda label: tf.py_func(practice_py_func, [label], [tf.float32 for i in range(num_classes)]))


iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()

with tf.Session() as sess:
    print(sess.run(next_element))
    print(sess.run(next_element))