Renyi-Fan

炼数成金数据分析课程---16、机器学习中的分类算法(交叉内容,后面要重点看)

一、总结

一句话总结:

大纲+实例快速学习法
主要讲解常用分类算法(如Knn、决策树、贝叶斯分类器等)的原理及python代码实现

 

1、什么是分类?

分类模型:输入样本的属性值,输出对应的类别,将每个样本映射到预先定义好的类别

 

2、常用分类算法?

-Knn算法
-决策树
-贝叶斯分类器
-神经网络
-Knn算法
-决策树
-贝叶斯分类器
-支持向量机
-神经网络

 

 

 

3、分类算法中的决策树的主要思想是什么?

空间划分:看图

 

 

4、分类算法中的决策树的介绍?

树中每一个非叶节点表示一个决策,该决策的值导致不同的决策结果(叶节点)或者影响后面的决策选择。
根据给定的未知分类的元组X,根据其属性值跟踪一条由根节点到叶节点的路径,该叶节点就是该元组的分类结果预测。

 

5、构建决策树的算法的本质是什么?

贪心:在构建决策树时,这两类算法的流程基本一样,都采用贪心方法,自顶而下递归构建决 策树

 

6、贪心算法如何构建决策树?

1.创建一个结点N。如果D中的元组都在同一个类别C中,则N作为叶结点,以C标记;如果属性列表为空,则N作为叶节点,以D中最多的类别C作为标记。
2.根据分裂准则找出“最好”的分裂属性A,并用该分裂属性标记N。1)A是离散的,则A的每个已知值都产生一个分支;2)A是连续的,则产生Ass和A>s两个分支;3)若A是连续的,并且必须产生二叉树,则产生AEA1和AEA2两个分支,其中A1,A2非空且A1UA2=A
3.若给定的分支中的元组非空,对于D的每一个分支Dj,重复步骤1,2

 

7、分类算法中的决策树的 属性选择 如何度量?

如果我们根据分裂准则把D划分为较小的分区,最好的情况是每个分区都是纯的,即落在一个给定分区的所有元组都是相同的类。最好的分裂准则就是令到每个分区尽量的纯。
属性选择度量给学习集中的每个属性提供了评定。具有最好度量得分的属性被选为分裂属性。

 

8、决策树的剪枝的两种常用方法是什么?

先剪枝:通过设定一定的阀值来停止树的生长例如,在构建树模型时,使用信息增益、基尼指数来度量划分的优劣。可以预先设定一个阀值,当划分一个结点的元组到时低于预设的阀值时,停止改子集的划分
后剪枝:等树完全生成后再通过删除结点去修剪决策树。由于先剪枝中,选择合适的阀值存在一定的困难,所以后剪枝更加常用

 

9、python中使用决策分类算法常需要借助哪些包?

主要是python的sklearn库
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import precision_recall_curve
from sklearn.metrics import classification_report
from sklearn.naive_bayes import BernoulliNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cross_validation import train_test_split
import matplotlib.pyplot as plt
import pandas as pd

 

 

二、内容在总结中

决策树--空间分割

 

week13

 

 

 

 

 

 

 

分类:

技术点:

相关文章: