什么是kernel trick
在机器学习当中，我们有时需要将n维数据投影到更高维的空间然后做内积，传统思想是先用空间转换函数将数据投影到高维空间，然后再对数据做内积。例如，有两个向量
我们要利用转换函数
将x和z做转换然后再内积，过程如下
可以看到，将x和z通过函数转换再做内积的步骤，可以替换成x和z的内积再取平方，后者就是用了kernel trick。当数据需要投影到更高维时，计算的代价将会很高，如下图所示
这时使用kernel trick，先计算x和z的内积再取平方，可以减少计算代价，节省时间。
kernel trick的判断与构造
Mercer 定理：任何半正定的函数都可以作为核函数。
未完待续。。。