APRENDIZAJE SUPERVISADO

Question 1

Aprendizaje supervisado ?

Answer 1

conocido como CLASIFICACIÓN o aprendizaje INDUCTIVO

Question 2

Atributo de clase

Answer 2

es la etiqueta

Question 3

OBjetivos

Answer 3

• produccir una función de predicción/clasificacion
• predecir etiquetas futuras
• f(x) es llamada modelo de clasificación
• Es supervisado, porque las etiquetas son dadas.

Question 4

cuando es supervisado o no ?

Answer 4

Si se tienen la etiquetas es SUPERSIVADO si no se tienen la etiquetas es NO SUPERVISADOS

Question 5

HIPOTESIS de Aprendizaje automátizado

Answer 5

Es que los datos de entrenamiento tienen una distribución similar a los datos de prueba, incluyendo los datos futuros.

Question 6

¿Cual es el flujo completo del aprendizaje?

Answer 6

1. • Entrenamiento
2. • Aprendizaje
3. • Modelo
4. • Prueba
5. • Precisión

Question 7

¿Qué es un DECISION TREE ?

Answer 7

Es una de las técnicas más usadas para la clasificación.

Question 8

¿Cuántos tipos de nodos poseen ? Detalle cada uno

Answer 8

1. • Nodos Decisión: Son internos y especifican una pregunta con respecto a un atributo.
2. • Nodos Hoja: Indican una clase

Question 9

¿Cómo esta construido un DECISION TREE ? (inducción) Explique

Answer 9

Esta construido mediante la partición de los datos, de tal forma que los subconjuntos de datos sean lo más puros posible. La pureza de un conjunto es cuando solo se posee una sola etiqueta.

Question 10

¿Cómo se puede transformar un DECISION TREE en sentencias IF-THEN?

Answer 10

1. • Cada ruta de la RAIZ hasta la hoja es una regla.
2. • Todos los nodos de decisión a lo largo del camino forman las condiciones de la regla. El nodo hoja forma la clase.
3. • Para cada regla, se asocia un valor de confianza y el número de ejemplos de soporte.

Question 11

Minería de reglas de Asociación

Answer 11

Es el intento de buscar todas las reglas que están en cierto intervalo de confiabilidad.

Question 12

¿Cuál es la propiedad más importante de los DECISION TREE ?

Answer 12

Es que el conjunto de reglas resultantes es MUTUAMENTE EXCLUSIVO y EXHAUSTIVO. Cada caso esta cubierto por solo una regla, es decir, satisface las condiciones de la regla.
TB: es una representación mas compacto de los datos.

Question 13

¿Por qué los DECISSION TREE se consideran algortimos GREEDY sin BACKTRACKING?

Answer 13

Una vez que sea creado un nodo de alguna partición pureza, esta no sera vuelta a revisar.

Question 14

Dos funciones de Impureza

Answer 14

• Information Gain

- Information Gain Ratio

Question 15

Relación ENTROPIA / PUREZA

Answer 15

Cuando la entropia toma valores pequeños, el conjunto de datos es más puro.

Question 16

Information GAIN

Answer 16

• Se calcula la entropía del conjunto de datos entero.
• Buscar un atributo que mejor reduzcan la impureza, si se va a utilizar para particionar. v es el número posible que puede tomar el atributo y se escoge el que menor la reduzca.
• Normalmente se elige una cota inferior y ahi el algoritmo para.

Question 17

Desventajas de INFORMATION GAIN

Answer 17

• Tomando el caso de atributos como los IDS, la partición de los datos sería cero. En este caso la métrica es inútil. (Es extremo pero se da con atributos de muchos valores potenciales)

Question 18

INFORMATION GAIN RATIO

Answer 18

• Mejora el sesgo de la métrica anterior normalizando las ganancias.
• Utiliza la entropía de los datos con respecto a los valores de cada atributo.

Question 19

DECISION TREE con atributos continuos

Answer 19

• Se dividen en intervalos.
• Escoger una cota que maximice la ganancia.
• En la practica hay r-1 splits posibles.
• La cota puede ser el punto medio, o el lado derecho. Si escoge este lado de los datos se garantiza su aparición.

Question 20

OVERFITTING

Answer 20

• El aprendizaje no fue efectivo y los modelos no generaliza los datos de buena forma.
• Hay overfitting cuando un clasificador C1 es mejor en rendimiento que C2 en los datos de entrenamientos, pero en datos de prueba es lo contrario.

Question 21

PRE-PRUNING

Answer 21

• Detiene la exploración del arbol tempranamente, solucionando overfitting.
• No sabe que pasará si el árbol se sigue extendiendo.

Question 22

POST-PRUNING

Answer 22

• Se detiene la exploración despues de que el arbol fue construido.

Question 23

RULE-PRUNING

Answer 23

La idea es convertir el árbol en un set de reglas.
• El objetivo es eliminar algunas condiciones que hacen las reglas más cortas.
• Las que quedan redundantes ahora se eliminan.
• Por lo general, este nuevo set es mejor, ya que tiene menos chances de hacer overfitting a los datos.
• Pruning también es conocido como generalización ya que hace las reglas más generales.
• Una regla con más condiciones es más específica que una con menos condiciones.
• Las reglas después de la poda, no necesariamente se excluyen mutuamente, y tampoco son exhaustivas.
• Es decir, van a haber casos que van a satisfacer muchas reglas.
• Por eso se establece algún ordenamiento.
• También puede suceder que ninguna regla se satisfaga, para esto normalmente se aplica la clase mayoritaria.

Question 24

Clases desbalanceadas

Answer 24

• Los árboles de decisión no se comportan bien cuando uno tiene muchas más instancias de una clase que de otra.
• Se puede hacer oversampling de las clases menores.
• Hacer ajustes de acuerdo a cuan probable van a ser las clases menores.

Question 25

Evaluación de Clasificadores

Answer 25

• Métricas: – Accuracy: – Error rate: es 1 – accuracy. • Evaluación: – Holdout set: el set de datos es dividido en dos sub­conjuntos disjuntos : de entrenamiento y de evaluación.

Question 26

Evaluación

Answer 26

El conjunto de prueba también es llamado holdout set. Este tipo de evaluación se utiliza cuando el conjunto de datos es grande y además, cuando está etiquetado. • Es importante que los datos de prueba no sean utilizados para entrenar.

Question 27

Multiple random sampling

Answer 27

sirve cuando hay pocos datos y consiste en hacer holdout con random sampling muchas veces y calcular una accuracy promedio.

Question 28

Cross­validation:

Answer 28

Se utiliza cuando el conjunto de datos es pequeño. Es el método más común. Los datos se dividen en n conjuntos disjuntos de igual tamaño. • Entonces, n­1 conjuntos se utilizan para entrenar y el restante para probar. • Este procedimiento se ejecuta n veces con cada n conjunto en modo prueba. • La accuracy final es el promedio de las n accuracies. 5­fold y 10­fold validations son las más usadas.

Question 29

leave­one out cross­validation.

Answer 29

• Un caso especial de cross­validation • Aquí se deja sólo un ejemplo de prueba y todo el resto de entrenamiento. • Sólo sirve para conjuntos de datos pequeños. • Es decir, es m­fold cross validations, donde m es el número de datos.

Question 30

Problemas de accuracy en la evaluación

Answer 30

• Accuracy tiene el problema de que si una de las clases es pequeña, bastaría un sistema que etiquetara todos los ejemplos como la clase mayoritaria y alcanzaría una valor alto en accuracy.

Question 31

M. confusion

Answer 31

La precisión y el recall con respecto a la clase positiva: precision TP TP/FP recall TP TP/FN

Question 32

F1­score

Answer 32

• Normalmente hay un trade­off entre precision y recall. • F1­score es la media harmónica entre precision y recall. • La media harmónica tiene a estar cerca del menor de los dos valores. • Por ende, para ser alta, esta métrica debe contar con una precisión y un recall altos. Hay otra métrica: precision and recall breakeven point.

Question 33

F1 Score en palabras

Answer 33

“mide la efectividad de la recuperación de información con respecto a un usuario que le da veces más importancia al recall que a la precisión”.

Question 34

Breakeven Point

Answer 34

* Es el punto donde la precisión y el recall son iguales. * Asume que los casos de prueba pueden ser jerarquizados por el clasificados de acuerdo a su probabilidad de que sean positivos. * En el caso de un árbol de decisión podemos utilizar los valores de confiabilidad.