kd树
k近邻算法最简单的实现方式线性扫描 linear scan
。需要计算每个输入实例和每个训练实例之间的距离;当样本量很大的时候,非常耗时。考虑使用特殊的树形结构:kd
树来较少距离的计算。
构造平衡kd树
kd树是一种对k维空间中的实例点进行存储以便快速查找数据的数据结构。
实例
给定一个二维空间的数据集:,构造kd树
实现过程
- 根节点对应包含数据集T的矩形,选择轴,顺序排列是:(2,4,5,7,8,9),中位数是6
- 由于中没有6,选择较近点(7,2),中位数选择7,将空间分为左右两个子矩形区域
image.png
搜索kd树
以k=1为例,通过k最近邻方法来进行搜索:
- 给定一个目标点,首先找到包含目标点的叶结点;
- 包含目标点的叶结点对应包含目标点的最小矩形区域。以此叶结点的实例点为当前最近点
- 目标点的最近邻一定在以目标点为中心并且通过当前最近点的超球体的内部。
- 从该叶节点出发,回退到父节点
- 不断查找与目标点最近邻的节点,当存在不可能更近的点时终止
关于二叉树
二叉查找树是一种树形结构,采用了图的树形结构。每个节点最多两个子节点
- 平衡二叉树:修正不均衡的树,保持均衡状态,提高查找效率
- B树:每个节点不止一个子节点,可以多个;MySQL中用到了B树
特点:
- 每个节点的值均大于其左子树上任意一个节点的值:
大于左边
- 每个节点的值均小于其右子树上任意一个节点的值:
小于右边