作者：博观厚积
链接：https://www.jianshu.com/p/f544ac592979
來源：简书
1.KNN算法简介及其两种分类器
KNN，即K近邻法(k-nearst neighbors)，所谓的k最近邻，就是指最接近的k个邻居（数据），即每个样本都可以由它的K个邻居来表达。kNN算法的核心思想是，在一个含未知样本的空间，可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。
在scikit-learn 中，与近邻法这一大类相关的类库都在sklearn.neighbors包之中。其中分类器有KNN分类树KNeighborsClassifier、限定半径最近邻分类树的类RadiusNeighborsClassifier以及最近质心分类算法NearestCentroid等等。前两种分类算法中，scikit-learn实现两个不同的最近邻分类器：KNeighborsClassifier基于每个查询点的k个最近邻点实现学习，其中k是用户指定的最近邻数量。 RadiusNeighborsClassifier基于每个训练点的固定半径r内的最近邻搜索实现学习，其中r是用户指定的半径浮点值。关于这两种分类器的差别可以参考KNN算法的KD树和球树进行了解。
2.分类器KNeighborsClassifier的python实现以及结果的可视化
基于scikit-learn的KNeighborsClassifier以及RadiusNeighborsClassifier分类器，本文构建样本数据，采用这两种方法进行分类预测，根据结果画出二者的预测集，从而进行比较。
（1）首先是导入各种库。
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
from sklearn import neighbors, datasets
import pandas as pd
（2）然后生成样本数据，这里要注意需要生成只有两个特征值的数据集。
from sklearn.datasets.samples_generator import make_classification
# X为样本特征，y为样本类别输出， 共200个样本，每个样本2个特征，输出有3个类别，没有冗余特征，每个类别一个簇
X, y = make_classification(n_samples=200, n_features=2, n_redundant=0,
n_clusters_per_class=1, n_classes=3)
#之所以生成2个特征值是因为需要在二维平面上可视化展示预测结果，所以只能是2个，3个都不行
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
plt.show() #根据随机生成样本不同，图形也不同
本次结果生成的三个类别分布如下：
（3）采用KNeighborsClassifier进行分类与预测
clf = neighbors.KNeighborsClassifier(n_neighbors = 15 , weights='distance')
clf.fit(X, y) #用KNN来拟合模型，我们选择K=15，权重为距离远近
h = .02 #网格中的步长
#确认训练集的边界
#生成随机数据来做测试集，然后作预测
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
np.arange(y_min, y_max, h)) #生成网格型二维数据对
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
（4）画出不同预测类别的区域地图以及实际训练数据的类别位置
# Create color maps
cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF']) #给不同区域赋以颜色
cmap_bold = ListedColormap(['#FF0000', '#003300', '#0000FF'])#给不同属性的点赋以颜色
#将预测的结果在平面坐标中画出其类别区域
Z = Z.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, Z, cmap=cmap_light)
# 也画出所有的训练集数据
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.show()
得到结果为：
结果可以看出，预测区域能够涵盖大部分的训练数据，除了少部分训练数据分布异常外（如部分红色点进入绿色区域，蓝色点进入红色区域）。
3.分类器RadiusNeighborsClassifier的python实现以及结果的可视化
其步骤与2中KNeighborsClassifier步骤基本相同，主要是在拟合与预测上采用KNeighborsClassifier分类函数，整个代码为：
clf1 = neighbors.RadiusNeighborsClassifier(10.0, weights='distance')
clf1.fit(X, y)
Z1 = clf1.predict(np.c_[xx.ravel(), yy.ravel()])
Z1 = Z1.reshape(xx.shape)
plt.figure()
plt.pcolormesh(xx, yy, Z1, cmap=cmap_light)
# 也画出所有的训练集数据
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.show()
得到结果：
此图与上图相比，还是有不同的，特别是绿色区域范围扩大了。哪种方法比较好呢？从可视化图形不容易看出，可视化只能直观看出二者的结果差异性，最好的评价二者分类优劣的方法就是计算其预测的误差率（loss funtion）或者准确率（预测正确的个数占总数的比例）。