机器学习 西瓜书 Day15 降维与度量学习(下)

p232 – p246
今天这篇在公司写的
最近熬夜太多
感觉有些透支
今天要早睡

第十章 降维与度量学习

10.4 核化线性降维

线性方法有时具有局限性
见p232的例子

非线性降维的一种常用方法,是基于核技巧对线性降维方法进行“核化”。

核主成分分析(KPCA)
降温方法详情见p233。

10.5 流形学习

“流形”是在局部与欧式空间同(月丕)的空间。
换言之,它在局部具有欧式空间的性质,能用欧氏距离来进行距离计算

10.5.1 等度量映射(Isomap)

当低维流形被嵌入高维空间之后,直接在高维空间计算直线距离是不对的。
见p234图10.7
在流形上两点间的距离应当是测地线的距离

如何计算测地线距离呢?
利用局部同丕性质,可以对每个点基于欧氏距离找到近邻点(找近邻点的方法2种见下),建立一个近邻连接图。
这样,计算两点之间测地线距离的问题,转化为了计算近邻连接图上两点之间的最短路径

有了距离矩阵,就可用10.2的MDS算法进行输出,输出样本在低维空间的坐标。

需要注意的是,Isomap仅得到了训练样本降维后的坐标,新样本又该怎么映射呢?
常用方案:利用训练样本高维-低维构造回归器,显然这是个权宜之计。

如何找近邻点?k近邻图。ε近邻图。

10.5.2 局部线性嵌入(LLE)

LLE试图保持邻域内样本之间的线性关系。
即在高维空间内一个点能被周围的几个点线性组合出来,降了维也得是这样。

算法见图10.10

10.6 度量学习

对高维数据进行降维的主要目标是希望找到一个低维空间,在这个空间学习性能更好。
每个空间都定义了一种距离度量。
那么为什么不直接学出一种距离度量呢?

p238:度量学习就是为了学出一个矩阵M

发表评论

电子邮件地址不会被公开。 必填项已用*标注