在共享任务中使用训练数据和测试数据

Question

我正在处理这个共享任务http://alt.qcri.org/semeval2017/task4/index.php?id=data-and-tools

这只是 Twitter 情绪分析。由于我对机器学习还很陌生，我不太清楚如何同时使用训练数据和测试数据。

因此，共享任务提供了两组相同的推特推文，一组没有结果（火车），另一组有结果。

我目前对在机器学习中使用这类数据的理解如下：

• 训练集：我们应该将其分成训练和测试部分（可能 90% 的训练和 10% 的测试？）

但是单独的测试数据的存在令人困惑。

我们是否应该使用“训练集”的 10% 部分在测试中获得的结果，并将其与“测试集”的实际结果进行比较？

有人可以纠正我的理解吗？

Answer 1

在训练机器学习模型时，您正在为算法提供名为 training set 的数据集，在此阶段，您将告诉算法您放入算法的每个样本的基本事实是什么，这样，该算法从您提供给它的每个样本中学习。 training set 通常是整个数据集的 80%，数据集的另外 20% 是 testing set，在这种情况下，您知道每个样本的基本事实是什么，但您让算法预测它认为事实是你让它预测的每个样本。所有对testing set 的预测都是基于算法从你之前输入的training set 中学到的。 在您对 testing set 做出所有预测后，您可以根据实际情况检查模型与模型所做的预测相比的准确度。