Lectures

Question 1

KDD process

Answer 1

Partendo dai dati: effettuo cleaning prendendo quindi dati che mi servono (data understanding, merging from multiple sources) data integration, salvati in Data warehouse, seleziono quelli rilevanti per il task, effettuo data mining e valuto il pattern.

Question 2

Data Mining tasks

Answer 2

Prediction, uso variabili per predire sconosciuti o futuri valori.
Description, trovo human interpretable patterns, che descrivono dati.

Question 3

Cosa sono data objects?

Answer 3

I dati rappresentano quelli che sono chiamati data objects, ossia oggetti che hanno delle proprietá.

Question 4

Tipi di attributi che posso avere? Che caratteristiche possono avere?

Answer 4

Nominali categorici (categorie), binary (appartiene o meno, 0/1), ordinali (come categorici, ma ordinati), numerici, ratio scaled (% su un totale).

Distintivitá, ordinamento, differenze meaningful, ratio meaningful.

Question 5

Problemi con data quality

Answer 5

Accuracy sintattica (errore di battitura), accuracy semantica (scritto bene, ma dato non coerente), completezza (mancano dei dati che ci portano a conclusioni errate), dati sbilanciati (potremmo avere dati che ci portano a leggere sbilanciamento errato), timeliness (ancora validi?).

Question 6

Cosa sono bins?

Answer 6

bins rappresenta dimensione intervallo in istogramma.

Dato da Sturges’ rule = approx per eccesso log2(n) + 1
Valido solo per normalo distribution.

Question 7

Media, mediana, moda

Answer 7

Media somma valori divisa per numero valori, mediana valore centrale o media tra due valori centrali, moda valore che vediamo piu di frequente.

Question 8

Dispersione dei dati misurata tramite

Answer 8

range (distanza tra min, max), varianza ( 1/m - 1 * somm m (xi - x’)ˆ2, standard deviation = varianza al quadrato, five number summary.

Question 9

Scatterplot

Answer 9

Permette di visualizzare dati, andando ad inserire su assi x e y due valori tra quelli disponibili.
Questa visualizzazione può far emergere pattern, ma se assenti potrebbero essere ancora presenti.

Question 10

Pearson’s correlation

Answer 10

Dato da sommatoria tra tutti (x - x’) * (y - y’) / n - 1 standard deviation x * standard deviation y

Question 11

Come riduco dimensionality? metodi

Answer 11

Filter methods: analizzo significato e correlazione con altri attributi
Wrapper methods: seleziono top ranked features
Embedded methods: durante il DM algo, effettuo selezione.

Question 12

Creazione delle features

Answer 12

Immagina delle foto, invece di analizzarle in formato raw, estrai alcune caratteristiche.

Question 13

Discretization, tipi di binning

Answer 13

Conversione di attributo continuo in un attributo ordinale.
Natural binning deve appartenere ad intervallo, abbiamo k intervalli.
Equal frequency binning, vado a variare la dimensione dell’intervallo per avere lo stesso numero di elementi interno.
Statistical binning, vado a dividere dati in base a valori statistici e quanto questi si differenziano dai valori statistici.

Question 14

Numero ottimale di classi per discretization

Answer 14

Dato da Sturges:
C = 1 + 10/3 log10(N)
Scott:
h = 3.5 * s / rad(N)

Question 15

Approccio di discretizzazione basato su entropia

Answer 15

Divido dataset in due parti, poi continuo a dividere iterativamente parte con entropia maggiore.

Question 16

Binarization

Answer 16

Posso convertire attributi continui in categorie, con 0/1 su una determinata proprietá
Es. alto (>1.80), medio ( > 1.60 AND < 1.80)….

Question 17

Obiettivi di una trasformazione, e tipi di trasformazione

Answer 17

Preservare informazioni rilevanti, eliminare almeno un problema di X, piu utile di X.
Tipologie:
min,max
z score (quanto differisce da mean)/standard dev
normalization by decimal scale porto tutti i valori tra 0.0 e 1.0

Question 18

Cluster cosa sono, che versioni possiamo avere? Che tipi possiamo avere e che distinzioni possiamo fare

Answer 18

Ricerchiamo gruppi di oggetti, relazionati tra loro. per sommatoria e understanding dei dati.
Possiamo avere versione gerarchica e partizionata.
Esclusivi e non esclusivi, un elemento puó appartenere solo ad un cluster o a piu cluster.
Fuzzy cluster, ogni elemento appartiene ad un cluster con un peso.
Cluster parziale solo su una parte dei dati.

Question 19

Parlami dei cluster well separated,center based,contiguity based,density based, objective function.

Answer 19

Well separated dove ogni elemento del cluster é piu vicino agli altri elementi del cluster, che a qualsiasi altro elemento.
Center based, basati sui centroidi e i suoi punti sono piu vicini al centroide di riferimento che agli altri.
Contiguity based, basta che un punto sia piu vicino ad un elemento nel cluster di appartenenza che agli altri.
density based, i clusters sono identificati da zone dense di punti e zone vuote.
Objective function, cerchiamo tutte le possibili divisioni del cluster per valutare migliore (NP Hard).

Question 20

K Means, algo

Answer 20

Seleziono K points (random o scegliendo punti lontani).
ripeti
forma k clusters , assegnando tutti i punti piu vicini ad un centroide
ricomputa il centroide, andando a trovare punto centrale.
continua fino a quando ho variazioni interessanti sulla SSE.

Question 21

Sum of squared error

Answer 21

Sommo per tutti i punti, per tutti i centroidi, quanto i punti appartenenti ad un cluster sono lontani dal centroide al quadrato.

Question 22

Come riduco SSE?

Answer 22

Aumento K, ottenendo quindi piu clusters e quindi meno errore.

Question 23

Come supero limiti del K means?

Answer 23

Uso cluster piu piccoli che accorpo.

Question 24

Bisetting K Means

Answer 24

Creo un grande unico Cluster,
repeat
prendo un cluster, (di solito quello con valore minore) e lo divido applicando K-Means
Da questi cluster ne seleziono due con total SSE minore e li aggiungo alla lista
Tutto fino a quando non raggiungo K clusters.

Question 25

X Means

Answer 25

Parto da un K Means, per ogni cluster vado a trovare 2 centroidi aventi come centro il cluster in esame e scelgo quelli con BIC valuie maggiore, comparo quindi BIC padre con figli. Mi fermo quando non mi conviene piu splittare cluster.

Question 26

Differenza tra problema di classificazione e regressione

Answer 26

Classificazione dobbiamo assegnare un valore categorico
Regressione dobbiamo assegnare un valore numerico.

Question 27

Cluster gerarchici

Answer 27

Possiamo avere dei cluster a più livelli, dove abbiamo piu livelli di cluster, quindi dei cluster possono accorpare altri.
Possono essere rappresentati come tree like diagram.

Question 28

Metodologie per performare cluster gerarchico

Answer 28

Agglomerativo: parto da punti come cluster individuali e accorpo i più vicini.
Divisivo: parto da un solo grande cluster, e splitto fino ad ottenere K cluster, oppure cluster hanno individual points.

Question 29

Come confronto cluster sim, metriche

Answer 29

MIN, MAX, Group Avarage, distanza tra centroidi.

Question 30

MST, per costruire cluster

Answer 30

Minimum spanning tree, per costruire i cluster, dove spezzo rami più lunghi.

Question 31

DBScan

Answer 31

Metodologia basata su core point (elemento avente almeno MinPoints) con un certo valore di Eps.
Border point, non core point ma suo vicino.
Noise point, ne vicino ,ne border.
Algo:accorpo ai core, border.

Question 32

Come misurare Cluster validità

Answer 32

Indici interni,
indici esterni,
indici relativi tra due differenti clusters.

Question 33

Hunt’s algo

Answer 33

Costruisco un albero di classificazione. Parto da un training set, se da uno split ottengo tutti elementi appartenenti alla stessa classe parlo di Leaf node. Altrimenti continuo a dividere. Per ottimizzare devo splittare in base ad attributo che divide meglio.

Question 34

Quando fermare lo splitting dei tree?

Answer 34

O quando tutti i record appartengono alla stessa classe, oppure early termination.

Question 35

Multi-way split vs binary split.

Answer 35

Come dice il nome multi-way posso dividere in 3 o piú partizioni, contro binary dove ogni partizione splitta in due.

Question 36

Come misuro impuritá di un nodo?

Answer 36

Gini 1 - sum( frequenza di attributi classe j rispetto ad attributi totali)^2
entropia - sommatoria ( frequenza di attributi classe j rispetto ad attributi totali) log ( frequenza di attributi classe j rispetto ad attributi totali).
Quando vado a verificare impuritá di un nodo in caso di split in tanti nodi ottengo ovviamente impuritá minore, ma da tenere in considerazione questo, poiché potrebbe essere meglio impuritá maggiore, ma meno split.
missclassified error dato da 1 - missclassified della classe maggiormente missclassified.

Question 37

Occam rasoio`

Answer 37

Dati due modelli aventi simile errore, preferiró quello piu semplice. Posso aggiungere al training error + la complexity del modello moltiplicata per un fattore alfa/

Question 38

Come posso andare a diminuire dimensione albero?

Answer 38

Prepruning fermo albero a certe condizioni
Post pruning, faccio crescere albero fully e poi accorpo.

Question 39

Rule based classifier, come lo costruisco

Answer 39

Vado a creare insieme di regole per definire una classe. Estraggo rules dai dati o da un tree

Question 40

Come costruisco rule set:?

Answer 40

Parto da rule set vuoto, aggiungo una rule ed elimino dal dataset elementi che rispettano rule, finché non classifico come desidero.

Question 41

Metodo RIPPER per costruire rule

Answer 41

Per 2 classi applico rule per classe positiva e restanti finiscono in default class.
Per multiclass, ordino classi in base a prevalenza che viene trattata come prima classe e una volta identificata, riapplico regola a classe negativa.

Question 42

Metodo indiretto per costruire rule.

Answer 42

Parto da fully grown tree ed estraggo rules.

Question 43

Classificatori di Bayes

Answer 43

Possiamo applicare teorema di bayes ed andare a creare un classificatore Naive di bayes. Considero come indipendenti tra loro proprietá e vado a registrare quale é probabilitá che dato un determinato attributo io abbia come outcome Y. Moltiplico tra loro tutte proprietá per restituire output.
Per Calcolare le probabilitá mi basta guardare i dati e verificare quanti elementi aventi come classe Y, abbiano un determinato attributo.

Question 44

Ensable methods e tipologie.

Answer 44

Posso aggregare piú prediction insieme pere restituire valore corretto. se classifier uncorrelated, anche errori uncorrelated.
Begging, vado a costruire basandomi su set-test diversi dei classificatori, predittori differenti e vado a restituire la moda per classificatore o la media per regressione.
Boosting si concentra su migliorare errori di classificazione dei modelli precedenti, adaboosting é una versione molto utilizzata di questo.
Random forest, crea decine o centinaia di alberi decisionali, in modo simile al begging restituisce i valori migliori.

Question 45

SVM

Answer 45

SVM cerca hyperpiano che divida dati, esempio di 2d hyperplane in 3d space.
Cerco di minimizzare margine, ossia distanza tra i due punti piu vicini delle due classi separate.