输入$X$可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。
输出空间
输出$Y$可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。
特征空间
输入空间中每个具体的输入就是一个实例（instance），实例是由特征向量（feature vector）表示，其中$x$就是输入空间$X$中的一个输入实例，由 $n$ 维特征向量组成；
$x=\left \{ {x^{(1)},x^{(2)},...,x^{(n)}}\right \} ^{T}$
一般的，用大写的$X/Y$代表输入输出空间，小写的 $x/y$ 代表一个具体的输入输出实例(标量或者向量)；向量默认为列向量，上式中对于 $x$ 的输入向量用行向量转置的方式（符号$T$）来表示列向量。