Data science - Module 2

Question 1

Mathematically, a list of numbers is represented by an object called?

Answer 1

A vector

Question 2

How do we map discrete data points?

Answer 2

By assigning numerical values, i.e. true = 1

Question 3

Feature space?

Answer 3

Is eintlik maar observasie “leef”, so vir twee dimensies, n x en y scatter plot

Question 4

Is ons beperk ten opsigte van dimensies?

Answer 4

Nee, grafies ja, tot drie. Maar wiskundig, baie meer. Wees maar net versigtig, want hoe meer dimensies daar is, hoe meer data gaan jy nodig he om te train

Question 5

Eerste voorbeeld van hoe hulle responses map tot die feature space?

Answer 5

Alles sit daar, en toe het hulle die fraudulent goed omkring

Question 6

Wat se issue is daar met unbalanced classes?

Answer 6

As jy baie baie vam die een het, en min van die ander, sal die predictor neig na waar die volume is

Question 7

Klassieke boorbeeld van n class imbalance classification probleem

Answer 7

Om credit card fraud om te tel, omdat dit n klein handjievol uitmaak van die totale dataset

Question 8

Class imbalances can lead to a accuracy paradox?

Answer 8

Jip, dit is een van die hoof maatstawe, maar dit reflekteer nie die wanbalans in die onderliggende datastel

Question 9

Eerste boor die handliggende oplossing om class imbalances teen te werk?

Answer 9

Kry meer data, veral van die een waarvan jy n tekort het

Question 10

Gaan nog in meer detail ingaan, maar die tweede ding wat ky kan doen om n imbalanced dataset te benader?

Answer 10

Verander die performance metric. So gaan nie oor absolute akkuraatheid nie

Question 11

Wat beteken resampling in die konteks van class imbalances?

Answer 11

Jy kry over-sampling (maak duplikate van die underrepresented instances)

Jy kry ook under-sampling, waar jy van die entries delete wat over represented is

Question 12

Wanneer sal j under-sampling gebruik

Answer 12

Wanneer jy met honderde duisende gevalle sit

Question 13

Wanneer sal jy over-sampling gebruik?

Answer 13

Wanneer jou datastel oor die algemeen kleiner is

Question 14

Soortgelyk aan over-sampling, maar jy copy nie die data nie?

Answer 14

Generating synthetic samples. Gebruik metodes soos SMOTE (synthetic, minority over-sampling technique)

Question 15

Die byfde metode om class imbalances aan te spreek?

Answer 15

Probeer verskillende algoritmes. Belangrik om nie net altyd dieselfde te gebruik nie

Question 16

Decision trees often perform poor on imbalanced datatsets

Answer 16

False

Question 17

In Python, noem populere decision tree algoritmes

Answer 17

Scikit learn, CART

Question 18

Sesde metode om class balances aan te spreek?

Answer 18

Penalized models - so assign n groter cost function wanneer die model die minority goed verkeerd kry

Question 19

Classification accuracy is nie die enigste performance metric nie. Twee ander?

Answer 19

Precision and recall performance

Question 20

Waarvoor staan CART?

Answer 20

Classification and Regression trees

Question 21

Ander naam vir n confusion matrix?

Answer 21

Contigency table

Question 22

Hoeveel selle sal n confusion matrix he, as dit n binere sisteem is, met twee responses

Answer 22

4 selle, en elkeen wys joeveel in elke inval

Question 23

So met n confusion matrix, op die kolom sit jy model output, en op die ry die actual

Answer 23

Ja?

Question 24

Definisie van precision?

Answer 24

True positives/(true positives+false positives)

Question 25

Wat is die definisie van Recall

Answer 25

True positives/(true positives + false negatives)

Question 26

A low recall indicates?

Answer 26

Many false negatives

Question 27

In eenvoudige terme, wat is die F1 score?

Answer 27

Die FI score conveys the balance between precision and recall

Question 28

F1 score =

Answer 28

(Precision+recall)/(precision*recall)

Question 29

Ander naam vir precision

Answer 29

Positive predictive value

Question 30

Ander name vir recall?

Answer 30

Sensitivity of die True positive rate

Question 31

Recall can be thought of as the

Answer 31

Completeness of the classifier

Question 32

Vergelyking vir akkuraatheid wat nietjie verkeerd lyk:

Answer 32

=(true positives+true negatives)/(positive population+negative population)

Question 33

Senstivity

Answer 33

=(true positives)/(true positives + false negatives) =true positives/positive population

Question 34

Die omgekeerde van sensitivty

Answer 34

Specificity = TN/(TN + FP) Ability of the test to correctly rule out disease in a disease free population

Question 35

Gaan weer deur daardie boorbeeld van disease en die verskil tussen senstivity en specificity

Question 36

Waarvoor staan ROC?

Answer 36

Receiver operating curve

Question 37

Hoe werk ROC curves

Answer 37

Nie seker, jy verander n threshold value, dan verander die klassifikasie. Bb klassifiseer alles as positief, dan vang jy al die wat actuall positief is, soos jy aanbeweeg, skakel jy dan van die flase positiefs uit. So hulle stel dit voor as n plot, met true positives op die y, en false positives op die x

Question 38

Hoe lyk die ideale lyn vir die perfekte classifier?

Answer 38

Vang al die true positives met geen false positives. Lyn reguit op met die y, dan regs op die x

Question 39

A classifier with no power?

Answer 39

Will sit on the diagonal. For every increase in correctly identifying true positives, the amount of false positives also increase

Question 40

ROC curves kan dan gebruik word

Answer 40

Vir die selection van threshold value, en dit hang af van die situasie. Bv, ons sal eerder fals positiefs aanvaat om seker te maak ons vang almal wat dalk kanker het. Maar om te clear, wil ons eerder vals negatiefs he, omdat ons wil nie vir iemand se hulle is reg as hulle nie is

Question 41

Wanneer ons met ROCs werk, wat is die mees algemene maatstaf asof die classifier werk?

Answer 41

Auc - area under the curve

Question 42

Wanneer dal jy n ROC gebruik

Answer 42

The technique is applicable to any classifier producing a score for each case, rather than a binary decision

Question 43

Predictors =

Answer 43

Features and lives in the feature space

Question 44

Partitioning the feature space

Answer 44

Buzzzzz words

Question 45

The feature space only contains?

Answer 45

Features

Question 46

Hoe gebruik ons die feature space om te predict?

Answer 46

As jou nuwe, onbekende punt, in n area val waar die response bekend is, weet ons wat die waarskynlikheid is wat die response gaan wees

Question 47

In tree based partitioning word die space gesplit in?

Answer 47

Reghoeke

Question 48

Wat as jou feature space uit meer as twee dimensies bestaan?

Answer 48

No problem, net moeilik om te visualise

Question 49

Waarvoor staan CART

Answer 49

Classification and regression tree

Question 50

Basic premise of CART

Answer 50

Recursive binary splitting

Question 51

Wat beteken recursive binary splitting

Answer 51

Word gebruik deur iets soos CART, ittereer deur al die dimensies, en n split word gemaak waar daar die grootste afname is in die error measurement

Question 52

Greedy approach?

Answer 52

So met CART, partition is gebasseer op die grootse afname in fout, en werk van daar af. Dit is nie te se dat daar nie, as jy n ander roete sou volg, n beter benadering soi gewees het nie (vir die algemene fout)

Question 53

So hoe stop mens cart, want hy kan, afhangende van die hoeveelheid dimensies, net aanhou split

Answer 53

Deur n stopping criteria in plek te he. By, die laaste leaf, partition, moet ten minste 5% van die data bevat

Question 54

Hoe lees mems nie treue en false op n decision tree?

Answer 54

Linker branch is true

Question 55

Wat stel die laaste node in n decision tree voor?

Answer 55

Die spesifieke gedeelte van die feature space

Question 56

Ander naam vir n error measure?

Answer 56

Cost function

Question 57

Watse cost function word gebruik vir tree based regressie?

Answer 57

Residual sum of squares

Question 58

Drie cost functions wat gebruik word by tree based classification

Answer 58

Gini index Shannon entropy Misclassification error

Question 59

So hoe werk die aanvanklik split van dimensie met CART (regressie voorbeeld)

Answer 59

SRR vir die gem, sit dan n split in. Soos jy oor die x as beweeg (die split waarde), verander die grootte van die fout, tot waar jy dan die grootste afname kry. So hy sal dit doen vir al die dimensies, met n aantal splits, om die beste een te kry

Question 60

So vir partinioning the feature space met regressie, gebruik ons RSS, maar vir klassifikasie?

Answer 60

Werk ons met waarskynlikhede, so hy tel die soortgelyke responses en werk n waarskynlikheid uit. Dit kan dan in n gini index invoer, om joi n syfer te gee van hoe soortgelyk die items is

Question 61

Hoe lyk die gini indeks se funskie

Answer 61

Waarskynlikheid van nil en een, is dit baie naby aan nil. Waarskynlikheid van 0.5, return hy ook n 0.5