CNTK 中的二进制分类器与 C++答案

【问题标题】：Binary classifier in CNTK with C++CNTK 中的二进制分类器与 C++
【发布时间】：2017-09-04 12:54:49
【问题描述】：

我正在尝试使用CNTK的C++ API来实现在线学习。在阅读单元测试的源代码和CNTKLibrary.h 标头时，我只看到了Trainer.TrainMinibatch 方法来训练模型。这种方法可以用来传递单个输入输出数据点吗？如果可能，最简单的方法是什么？

我尝试使用CNTK::Value::CreateSequence 方法创建一个序列，然后我想在TrainMinibatch 函数中使用它，但它没有按照我预期的方式工作：

我尝试将此 python 代码移植到 C++：

num_hidden_layers = 2
num_output_classes = 2
input_dim = 1
hidden_layers_dim = 400

input_var = C.input_variable(input_dim)
label_var = C.input_variable(num_output_classes)

def create_model(features):
    with C.layers.default_options(init = C.glorot_uniform(), activation=C.ops.relu):
        h = features
        for _ in range(num_hidden_layers):
            h = C.layers.Dense(hidden_layers_dim, activation=C.sigmoid)(h)
        r = C.layers.Dense(num_output_classes, activation=None)(h)
        return r

z = create_model(input_var)
loss = C.cross_entropy_with_softmax(z, label_var)
label_error = C.classification_error(z, label_var)

learning_rate = 0.2
lr_schedule = C.learning_rate_schedule(learning_rate, C.UnitType.minibatch)
learner = C.sgd(z.parameters, lr_schedule)
trainer = C.Trainer(z, (loss, label_error), [learner])

input_map = { label_var : None,  input_var : None}
training_progress_output_freq = 500

for i in range(0, 10000):
    input_map[input_var] = np.array([np.random.randint(0,2)], dtype=np.float32);
    if input_map[input_var] == 0:
        input_map[label_var] = np.array([1,0], dtype=np.float32)
    else:
         input_map[label_var] = np.array([0, 1], dtype=np.float32)
    trainer.train_minibatch(input_map)

我最终得到了这个 C++ 代码：

const size_t inputDim = 1;// 28 * 28;
const size_t numOutputClasses = 2;// 10;
const size_t hiddenLayerDim = 400;
const size_t numHiddenLayers = 2;

//build the model
auto input = InputVariable({ inputDim }, DataType::Float, L"features");
FunctionPtr classifierOutput = input;
for (int i = 0; i < numHiddenLayers; i++)
{
    classifierOutput = FullyConnectedDNNLayer(classifierOutput, hiddenLayerDim, device, std::bind(Sigmoid, _1, L""));
}
classifierOutput = FullyConnectedLinearLayer(classifierOutput, 2, device);

auto labels = InputVariable({ numOutputClasses }, DataType::Float, L"labels");
auto trainingLoss = CrossEntropyWithSoftmax(classifierOutput, labels, L"lossFunction");
auto prediction = Minus(Constant::Scalar(1.0f, device), ClassificationError(classifierOutput, labels, L"classificationError"));

LearningRatePerMinibatchSchedule learningRatePerSample = 0.2;
auto trainer = CreateTrainer(classifierOutput, trainingLoss, prediction,
{ SGDLearner(classifierOutput->Parameters(), learningRatePerSample) }
);

std::cout << "Starting to train...\n";
size_t outputFrequencyInMinibatches = 500;
for (size_t i = 0; i < 10000; ++i)
{
    //input data
    std::vector<float> inputData(1);
    inputData[0] = ((float)rand()) / RAND_MAX;

    //output data
    std::vector<float> outputData(2);
    outputData[0] = inputData[0] > 0.5 ? 1.0 : 0.0;
    outputData[1] = 1.0 - outputData[0];

    ValuePtr inputSequence = CNTK::Value::CreateSequence(NDShape({ 1 }), inputData, device);
    ValuePtr outputSequence = CNTK::Value::CreateSequence(NDShape({ 2 }), outputData, device);

    std::unordered_map<Variable, ValuePtr> map = {{ input, inputSequence }, { labels, outputSequence }  };
    trainer->TrainMinibatch(map, device);
}

我能够编译代码并让它运行，但是 C++ 版本中的损失没有收敛到 0；在数百次迭代后的python版本中，损失或多或少为0...

【问题讨论】：

标签： python c++ deep-learning cntk

【解决方案1】：

看来python的输入数据不是0就是1：

input_map[input_var] = np.array([np.random.randint(0,2)], dtype=np.float32);

在 C++ 代码中，它在 0 和 1 之间浮动

//input data
std::vector<float> inputData(1);
inputData[0] = ((float)rand()) / RAND_MAX;

请将它们更改为相同，并检查收敛速度是否不同。

【讨论】：