决策树 Flashcards
(16 cards)
1
Q
决策树学习通常包括的3个步骤
A
特征选择, 决策树的生成, 决策树的修剪
2
Q
决策树学习的损失函数通常是什么?
A
正则化的极大似然函数
3
Q
决策树进行特征选择的准则
A
信息增益或者信息增益比
4
Q
熵是用来度量什么的
A
度量随机变量的不确定性
5
Q
信息增益
A
特征A对训练数据D的信息增益g(D,A)=H(D)-H(D|A)
6
Q
ID3与极大似然估计的关系
A
ID3相当于用极大似然法进行概率模型的选择
7
Q
ID3的核心是什么
A
在决策树的各个节点上应用 信息增益准则选择特征, 递归地构建决策树
8
Q
C4.5的核心是什么
A
C4.5在生成树的过程中, 使用信息增益比来选择模型
9
Q
决策时的剪枝是通过什么准则实现的
A
往往通过极小化决策树整体的损失函数多代价函数来实现, 等价于正则化的极大似然估计
10
Q
CART是的核心
A
CART的分类树是采用gini指数最小化尊重, 进行特征选择而生成的二叉树;CART回归树是用平方误差最小化尊重生成二叉树的
11
Q
决策树的损失函数可以定义为什么?
A
损失函数为C, 经验熵为H
12
Q
剪枝的作用
A
当alpha确定时, 剪枝就是选择损失函数越小的树. 树越大, 模型越复杂, 但是对训练数据的拟合就越好; 数越小, 模型越简单, 但是对训练数据的拟合就越不好.
13
Q
CART的回归树的生成准则, CART分类树的生成准则是什么?
A
CART回归树的准则是平方误差最小化
CART分类树的准则是基尼指数最小化进行特征选择
14
Q
基尼指数的定义
A
15
Q
基尼指数, 熵之半和分类误差率的关系
A
16
Q
CART剪枝算法
A
CART剪枝算法呢分为两步: 从树的最底层开始, 不断进行剪枝, 直到树的根节点, 这样就形成了一个子树序列; 然后用交叉验证的方法在验证数据集上对子树序列进行测试, 从中选择最优子树.
