本文共 585 字，大约阅读时间需要 1 分钟。

2.1概述

• 决策树功能强大受欢迎的分类和预测方法
• 有监督
• 树状图为基础,其输出结果为一系列简单实用的规则,故得名决策树。
• 决策树就是一系列if-then,用于分类问题,也可以用于回归
• 讲解原理时为方便,以分类为例

• 决策树模型基于特征对实例分类,是树状结构。
• 可读性强,分类速度快。
• 学习决策树时,通常采用损失函数最小化原则。

• 训练集用D表示,T表示一棵决策树。

2.2 算法笔记精华

2.2.1决策树原理

• 决策树是贪心算法,
  • 在特性空间上执行递归的二元分割,
  • 内部节点表示一个属性;
  • 叶子节点表示一个分类。
• 用决策树分类时,将实例分配到叶节点的类中,
  • 该叶节点所属的类就是该节点的分类。

• 决策树可表示给定特征条件下,类别的条件概率分布。
• 将特征空间划分为互不相交S1,S2,…,Sm。
• 设某个单元S内部有N个样本点,
• 则它定义一个条件概率分布

• 每个单元对应于决策树的一条路径。

• 所有单元的条件概率分布构成决策树所代表的条件概率分布。

• 单元$S_i$内有$N_i$个样本点,

  • 但整个单元都属${\hat{c}}_k$类。

• 即$S_i$内的$N_i$个样本,哪个分类占优,
  • 则整个单元都属该类。

2.2.2构建决策树的3个步骤

• 构建决策树通常包括3步
• 特征选择
• 决策树生成
• 决策树剪枝。

转载地址：https://cyj666.blog.csdn.net/article/details/106782275 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！