nlp

Question 1

Weizenbaum, creador de ELIZA

Answer 1

ELIZA fue una asistente online programada mediante detección de patrones (aka RegEx) en los años sesenta en el MIT.

Primer bot conversacional de la historia.

Question 2

Corpora

Answer 2

Se entiende por corpus (o en plural “corpora”) a cualquier colección de texto o voz que puede ser leído por una computadora.

Question 3

Tokenización

Answer 3

La tokenización consiste en dividir un fragmento de texto en partes más pequeñas. Ya sea dividir el párrafo en oraciones, oraciones en palabras o palabras en caracteres.

Question 4

Byte-Pair encoding (BPE)

Answer 4

https://huggingface.co/learn/nlp-course/chapter6/5?fw=pt

Question 5

Stemming y Lematización

Answer 5

https://web.stanford.edu/~jurafsky/slp3/2.pdf

Question 6

Algoritmo de Porter

Answer 6

https://web.stanford.edu/~jurafsky/slp3/2.pdf

Question 7

Minimum edit distance

Answer 7

https://web.stanford.edu/~jurafsky/slp3/2.pdf

Question 8

Discriminative model

Answer 8

P(y|x), decision boundary

Question 9

Generative model

Answer 9

Estimate P(x|y) to deduce P(y|x), probability distributions of the data

Question 10

Naive Bayes (Multinomial NB)

Answer 10

https://web.stanford.edu/~jurafsky/slp3/4.pdf

https://web.stanford.edu/~jurafsky/slp3/slides/4_NB_Apr_4_2021.pdf

Question 11

Regresión logística + multinomial

Answer 11

https://web.stanford.edu/~jurafsky/slp3/slides/5_LR_Apr_7_2021.pdf

https://web.stanford.edu/~jurafsky/slp3/5.pdf

Question 12

TF-IDF

Answer 12

https://github.com/LCaravaggio/NLP/blob/main/02_b%C3%A1sicas/Un_primer_TFIDF.ipynb

https://web.stanford.edu/~jurafsky/slp3/6.pdf

Question 13

One hot encoding

Answer 13

+ Hay relaciones entre las palabras que podemos perder si las modelamos por conteo de apariciones (i.e polisemia, homonimia, sinonimia, antonimia, etc)

Question 14

Semántica distribucional

Answer 14

Entender el significado de las palabras de acuerdo a su contexto.
Usamos un largo conjunto de instancias donde aparezca una palabra para intentar ver con qué palabras se relaciona más

Es la solucion del one-hot-encoding

Question 15

Microaverage

Answer 15

En el microaverage, reunimos las decisiones de todas las clases en una única matriz de confusión y, a continuación, calculamos la precision y la recall a partir de esa tabla.

Question 16

Macroaveraging

Answer 16

En el macroaveraging, calculamos la performance para cada clase y, a continuación, calculamos la media de todas las clases.

Question 17

Matriz de confusión

Answer 17

https://docs.google.com/presentation/d/1tqJ_LqQLmSWZFG1XCoSaZCCqHRNc4tfYvqRNvqPrsNY/edit#slide=id.g26018375f7b_0_68

Question 18

F-Score

Answer 18

https://docs.google.com/presentation/d/1tqJ_LqQLmSWZFG1XCoSaZCCqHRNc4tfYvqRNvqPrsNY/edit#slide=id.g26018375f7b_0_68

Question 19

Similitud coseno

Answer 19

https://web.stanford.edu/~jurafsky/slp3/6.pdf

cosine(v, w) = v · w / |v||w|

Question 20

Pointwise Mutual Information

Answer 20

https://web.stanford.edu/~jurafsky/slp3/6.pdf (6.6)

Question 21

CBOW y Skip-Gram

Answer 21

https://www.youtube.com/watch?v=ERibwqs9p38&list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6&index=2

https://arxiv.org/pdf/1301.3781.pdf

Question 22

Word2Vec

Answer 22

https://web.stanford.edu/~jurafsky/slp3/6.pdf (6.8)

Question 23

fastText

Answer 23

https://fasttext.cc/

Question 24

GloVe

Answer 24

https://www.youtube.com/watch?v=ASn7ExxLZws&list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6&index=3

Question 25

backpropagation

Answer 25

https://web.stanford.edu/~jurafsky/slp3/7.pdf https://docs.google.com/presentation/d/1mlLOuUmNuMGRDf2r8QDFLxyAadfsfPdpFaA9lEcRCJ8/edit#slide=id.g2287ef4c2f3_1_7

Question 26

Pooling

Answer 26

https://web.stanford.edu/~jurafsky/slp3/7.pdf

Question 27

Padding

Answer 27

Padding es una función de Keras que me sirve para convertir los datos en una matriz: https://www.tensorflow.org/api_docs/python/tf/keras/utils/pad_sequences

Question 28

Dropout

Answer 28

https://web.stanford.edu/~jurafsky/slp3/7.pdf

Question 29

Stochastic Gradient Descent

Answer 29

Una vez que podemos calcular el gradiente de la pérdida, optimizamos nuestros parámetros con descenso del gradiente. Stochastic Gradient Descent: en vez de calcular el gradiente sobre TODO el dataset, vamos a calcularlo de a lotes (batches) de pequeño tamaño, usualmente 16/32. Eso va a permitirnos hacer más optimizaciones y que tampoco sean tan inestables como con un único ejemplo. Luego de procesar cada batch, actualizamos los parámetros (optimization step). Al proceso de recorrer todo el dataset se le llama época (epoch). PyTorch entrega los lotes a nuestro modelo mediante DataLoaders