如何在 Keras Lambda 层中使用 OpenCV 函数？

Question

我正在尝试使用在图像上使用某些 OpenCV 函数的函数。但我得到的数据是张量，我无法将其转换为图像。

def image_func(img):
     img=cv2.cvtColor(img,cv2.COLOR_BGR2YUV) 
     img=cv2.resize(img,(200,66))
     return img

model=Sequential()
model.add(Lambda(get_ideal_img,input_shape=(r,c,ch),output_shape=(r,c,ch)))

当我运行这个 sn-p 时，它会在 cvtColor 函数中抛出一个错误，指出 img 不是一个 numpy 数组。我打印出img，它似乎是一个张量。

我不知道如何将张量更改为图像，然后也返回张量。我希望模型具有这一层。

如果我无法通过 lambda 层实现这一点，我还能做什么？

Answer 1

我将假设 image_func 函数执行您想要的（调整大小）和图像。请注意，图像由 numpy 数组表示。由于您使用的是 tensorflow 后端，因此您正在对 Tensors 进行操作（您知道这一点）。

现在的工作是将张量转换为 numpy 数组。为此，我们需要 使用其评估张量来评估张量。但为了做到这一点，我们需要一个获取张量流会话。

使用keras后端模块的get_session()方法来抓取当前的tensorflow会话。

这是get_session()的文档字符串

def get_session():
    """Returns the TF session to be used by the backend.
    If a default TensorFlow session is available, we will return it.
    Else, we will return the global Keras session.
    If no global Keras session exists at this point:
    we will create a new global session.
    Note that you can manually set the global session
    via `K.set_session(sess)`.
    # Returns
        A TensorFlow session.
    """

那就试试吧：

def image_func(img)

    from keras import backend as K

    sess  = K.get_session()
    img = sess.run(img) # now img is a proper numpy array 

    img=cv2.cvtColor(img,cv2.COLOR_BGR2YUV) 
    img=cv2.resize(img,(200,66))
    return img

注意，我无法对此进行测试

编辑：刚刚对此进行了测试，但它不起作用（正如您所注意到的）。 lambda函数需要返回 张量。计算流程抛出一个张量，因此它也需要在微分的意义上是平滑的。

我看到 lambda 本质上是在改变颜色和调整图像大小，你为什么不在预处理步骤中这样做呢？

Answer 2

您将Lambda 层中的符号运算与 python 函数中的数值运算混淆了。

基本上，您的自定义操作接受数字输入，但不接受符号输入。要解决这个问题，你需要像 py_func in tensorflow

另外，你还没有考虑反向传播。简而言之，尽管这一层是非参数且不可学习的，但您也需要注意它的梯度。

import tensorflow as tf
from keras.layers import Input, Conv2D, Lambda
from keras.models import Model
from keras import backend as K
import cv2

def image_func(img):
    img=cv2.cvtColor(img,cv2.COLOR_BGR2YUV) 
    img=cv2.resize(img,(200,66))
    return img.astype('float32')

def image_tensor_func(img4d) :
    results = []
    for img3d in img4d :
        rimg3d = image_func(img3d )
        results.append( np.expand_dims( rimg3d, axis=0 ) )
    return np.concatenate( results, axis = 0 )

class CustomLayer( Layer ) :
    def call( self, xin )  :
        xout = tf.py_func( image_tensor_func, 
                           [xin],
                           'float32',
                           stateful=False,
                           name='cvOpt')
        xout = K.stop_gradient( xout ) # explicitly set no grad
        xout.set_shape( [xin.shape[0], 66, 200, xin.shape[-1]] ) # explicitly set output shape
        return xout
    def compute_output_shape( self, sin ) :
        return ( sin[0], 66, 200, sin[-1] )

x = Input(shape=(None,None,3))
f = CustomLayer(name='custom')(x)
y = Conv2D(1,(1,1), padding='same')(x)

model = Model( inputs=x, outputs=y )
print model.summary()

现在您可以使用一些虚拟数据来测试这一层。

a = np.random.randn(2,100,200,3)
b = model.predict(a)
print b.shape

model.compile('sgd',loss='mse')
model.fit(a,b)