1. 如果只划分测试集和训练集 经验是75%作为训练集
sklearn中的train_test_split()默认这样划分
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split()
2. 通常使用sklearn中的score方法计算结果的精度(正确预测比例)
3. KNN算法有两个重要参数:邻居个数和数据点之间距离的度量方法
在实践中,选择较小的邻居个数(例如3或5个)效果较好,sklearn中默认使用欧氏距离
构建KNN模型速度很快,若训练集很大(特征数多或样本数多),预测速度可能较慢
对于稀疏数据集(大多数特征值为0),KNN效果很不好
4.普通最小二乘法,即要求预测值和真实值均方误差最小
均方误差为预测值和真实值只差的平方和除以样本数
5.训练集和测试集之间的分数差异是过拟合的明显标志
例如,训练集0.95 测试集0.61
6.线性回归防止过拟合可以采用岭回归(L2正则化)
from sklearn,linear_model import Ridge
ridge = Ridge().fit(X_train,y_train)
线性回归中的score为R^2
岭回归的结果,训练集分数可能低于线性回归,但测试集分数一般高于线性回归
默认岭回归的alpha = 1.0
岭回归惩罚了系数的L2范数或w的欧式长度
增大alpha会使得各个系数wi更加趋向0,从而提高泛化性能
可以比较alpha为10 和 0.1的scores
当岭回归alpha = 0时,即线性回归
7. 学习曲线:回归问题中,横轴为训练集大小,纵轴为score(R^2),绘制训练集和测试集曲线
8. 如果有足够多的数据,正则化就不太重要了
9.线性回归防止过拟合可以采用Lasso回归(L1正则化)
因为Lasso会使得部分特征的系数(w)为0,所以相当于做特征筛选
只呈现重要的特征
from sklearn,linear_model import Lasso
ridge = Lasso().fit(X_train,y_train)
默认的alpha = 1
可能会欠拟合(训练集和测试集的score都不高)
我们此时应该减小alpha,增大max_iter(运行迭代的最大次数)
from sklearn,linear_model import Lasso
ridge = Lasso(alpha = 0.1,max_iter = 100000).fit(X_train,y_train)
如果alpha太小,则可能过拟合,即与线性回归效果相似
10. Lasso回归和岭回归一般会首选后者
如果特征很多,认为只有几个是重要的,则选择Lasso
如果为了模型的可解释性,选择Lasso(因为类似特征选择)
11.sklearn中逻辑回归和线性支持向量机都默认使用L2正则化
若换为L1正则化:
LogisticRegression(penalty = "l1").fit(X_train,y_train)
使用参数C表示正则化强度,C越小,正则化越强。
默认C=1
LogisticRegression(C=100).fit(X_train,y_train)
有时训练集测试集分数都很高,但是分数接近,可能是欠拟合
此时增大C,使正则化减弱看看结果分数
12.线性模型训练速度非常快,预测速度也很快,适合在大数据集上使用,也适合稀疏数据
13.朴素贝叶斯分类器速度更快(相比于线性分类器逻辑斯特回归和线性支持向量机)
但是其泛化能力比线性分类器差
14.sklearn中提供三种朴素贝叶斯分类器
GaussianNB课用于任意连续数据
BernoulliNB假定输入数据为二分类数据
MultinomialNB假定输入的数据为计数数据(即每个特征代表某个对象的整数计数,比如一个单词在句中出现的次数)
后两个主要用于文本分类
15.决策树也可用于回归任务,预测时基于每个节点的测试对树进行遍历,最终找到新数据点所属的叶节点
这一数据点的输出即为此叶节点中所有训练点的平均目标值。
16. 决策树可以采用预剪枝和后剪枝来防止过拟合
sklearn中只实现了预剪枝
预剪枝限制条件可以包括
限制树的最大深度
限制叶节点的最大数目
规定一个节点中数据点的最小数目防止继续划分
17.决策树graphviz可视化图中的samples给出该节点中的样本数
values给出每个类别的样本数
18.特征重要性指标可以看决策树的特征重要性,每个特征值介于0和1之间
tree.feature_importance_
且加和为1
0表示特征没用到
1表示完美预测目标值
19.决策树回归不能外推,也不能在训练数据范围之外进行预测
20. 决策树优点:
(1)较小的树模型可视化容易,容易解释理解
(2)算法不受数据缩放影响(因为每个特征单独处理),特征不需要预处理(归一化 标准化)
特别是特征尺度大小相差大或者二元特征和连续特征同时存在时
决策树缺点:
既使预剪枝,也经常过拟合,泛化能力差,所以大多数情况采用集成模型代替单棵决策树。
参考文献:Introduction to Machine Learning with Python