Modelos baseados em procura

Question 1

O que é impureza de um nó?

Answer 1

é a medida que indica o grau de heterogeneidade das classes presentes nesse nó.

i(t) = (p1.p2,….pk)

Question 2

Qual a fórmula para redução da impureza?

Answer 2

d(S) = i(t) - (PL.i(L)+ PR.i(R))

Question 3

O que é Entropia? e indique sua utilidade em árvores de decisão.

Answer 3

Mede o grau de incerteza (aleatoriedade) de uma variável aleatória

H(A) = - Pi log Pi (somatório)

Em árvores de decisão a entropia é usada como medida de impureza para medir a aleatoriedade
(dificuldade para predizer) do atributo alvo.

Question 4

O que é Ganho de Informação (C4.5)?

Answer 4

Ganho de informação é uma estratégia que mede redução na entropia nas partições obtidas de acordo com os valores do atributo.

Ganho de informação alcançado selecionando o atributo A para
divisão:

𝐼𝐺 (𝐴, 𝑌) = 𝐻 (𝑌) − 𝐻 (𝑌|A)

Question 5

Qual a fórmula da impureza dada pelo índice gini?

Answer 5

i(t) = 1 -(somatório de (pi)^2)