Aprendizaje profundo

Question 1

¿Qué tipo de problemas puede ser aprendido por un perceptrón?

Answer 1

Lineal

Question 2

¿Cuál es el rango de la función sigmoide?

Answer 2

(0,1)

Question 3

¿Cuál es una propiedad sobre el algoritmo ORIGINAL del perceptrón?

Answer 3

Si los datos no son linealmente separables, el algoritmo del percepton no converge y se mantiene ciclando entre algún conjunto de pesos

Question 4

¿Qué es lo que calcula una neurona?

Answer 4

Una neurona calcula la media de todos los atributos antes de aplicar la salida a la función de activación

Question 5

¿Qué hace una función de activación?

Answer 5

Agrega no linearidades al modelo

Question 6

En el contexto del entrenamiento de redes neuronales ¿Qué representa el gradiente?

Answer 6

La tasa de cambio del error con respecto a los pesos

Question 7

¿Cuál es la función de activación que, en general, no es susceptible al desvanecimiento de gradiente?

Answer 7

ReLU

Question 8

La última capa de una clasificación binaria debería ser:

Answer 8

Sigmoide

Question 9

El principal objetivo de backpropagation es:

Answer 9

Propagar el error para ajustar los pesos de la Red Neuronal

Question 10

¿Qué hacen las capas convolucionales?

Answer 10

Son extractores de características y atributos importantes.

Question 11

¿Dónde se hace la clasificación final de las entradas del modelo?

Answer 11

La clasificación es hecha en las capas totalmente conectadas al final.

Question 12

¿Qué es una red neuronal?

Answer 12

Modelo matemático para el aprendizaje inspirado en redes neuronales biológicas. Modela funciones matemáticas desde inputs hasta outputs en función de la estructura y parámetros de la red. Permite aprender los parámetros de la red en función de
datos.

Question 13

¿Para qué se utiliza el descenso de gradiente en redes neuronales?

Answer 13

Se utiliza para entrenar redes neuronales minimizando las pérdidas.

Question 14

¿Qué es una red neuronal multicapa?

Answer 14

Red neuronal artificial con una capa de entrada, una
capa de salida y al menos una capa oculta

Question 15

¿Qué es el backpropagation?

Answer 15

Es un algoritmo para entrenar redes neuronales con
capas ocultas

Question 16

¿Cómo funciona el backpropagation?

Answer 16

Comenzar con una elección aleatoria de pesos.
Repites:
1. Calcular el error para la capa de salida.
2. Para cada capa, comenzando con la capa de salida y moviéndose
hacia adentro, hacia la primera capa oculta:
* Propagar el error una capa atrás.
* Actualizar pesos.

Question 17

¿Qués es una red neuronal profunda?

Answer 17

Es una red neuronal con múltiples capas ocultas.

Question 18

¿Qué es overfitting?

Answer 18

Es cuando un modelo aprende los datos de entrenamiento con demasiada precisión, incluido su ruido y peculiaridades, que le impide generalizar bien a datos nuevos e invisibles

Question 19

¿Cuáles son técnicas para evitar overfitting?

Answer 19

Dropout

Question 20

¿Qué es dropout?

Answer 20

Eliminar neuronas (unidades) temporalmente - seleccionadas en
aleatorio: de una red neuronal para evitar
dependencia excesiva de ciertas neuronas

Question 21

¿Qué es una feed-forward neural network?

Answer 21

Es una red neuronal que tiene conexiones sólo en una dirección

Question 22

¿Qué es una red neuronal recurrente?

Answer 22

Es una red neuronal que genera resultados que
se retroalimenta con sus propios inputs

Question 23

¿Qué es modelado de lenguaje?

Answer 23

El modelado de lenguaje es la tarea de predecir qué palabra viene a continuación.

Question 24

¿Qué es un n-grama?

Answer 24

Un n-grama es un fragmento de n palabras consecutivas.

Question 25

¿Qué es una red neuronal recurrente?

Answer 25

Es una clase de redes neuronales artificiales diseñadas para procesar datos secuenciales, como texto, voz y series de tiempo, donde el orden de los elementos es importante.

Question 26

¿Para que se usa el cross entropy?

Answer 26

Es una función de pérdida utilizada en el aprendizaje automático para medir el rendimiento de un modelo de clasificación.

Question 27

¿Qué es Stochastic Gradient Descent?

Answer 27

El SDG es un método iterativo para optimizar una función objetivo con propiedades de suavidad adecuadas.

Question 28

Ventajas de RNN

Answer 28

○ Puede procesar cualquier longitud de entrada ○ El cálculo del paso t puede (en teoría) utilizar información de muchos pasos. atrás ○ El tamaño del modelo no aumenta para un contexto de entrada más largo ○ Se aplican los mismos pesos en cada paso de tiempo, por lo que hay simetría (información compartir) en cómo se procesan las entradas.

Question 29

Desventajas de RNN

Answer 29

○ El cálculo recurrente es lento ○ En la práctica, es difícil acceder a la información desde muchos pasos. atrás ○ Fijado mediante técnicas más avanzadas

Question 30

¿Qué es una red neuronal convolucional?

Answer 30

Clase de redes neuronales diseñadas para procesar datos en forma de cuadrícula, como imágenes. Son especialmente adecuados para tareas de reconocimiento y procesamiento de imágenes.

Question 31

¿Qué es pooling?

Answer 31

Reducir el tamaño de un input mediante muestreo de regiones en el input.

Question 32

¿Qué es max-pooling?

Answer 32

Pooling eligiendo el valor máximo en cada región

Question 33

¿Qué es vanishing gradient?

Answer 33

Es el problema de las magnitudes de gradiente muy divergentes entre las capas anteriores y posteriores que se encuentran al entrenar redes neuronales con retropropagación

Question 34

¿Qué es exploding gradient?

Answer 34

Es un problema que se presenta durante el entrenamiento de redes neuronales profundas. Se produce cuando los gradientes de la función de pérdida de la red con respecto a los pesos (parámetros) se vuelven excesivamente grandes.

Question 35

¿Qué es gradient clipping (recorte de gradiente)?

Answer 35

Es la solución al exploding gradient. Si la norma del gradiente es mayor que un cierto umbral, escálelo hacia abajo antes de aplicar la actualización de SGD

Question 36

¿Qué es un transformer?

Answer 36

El transformador es una arquitectura de aprendizaje profundo que se basa en el mecanismo de atención de múltiples cabezas. El texto se convierte en representaciones numéricas llamadas tokens, y cada token se convierte en un vector a través de una búsqueda en una tabla de incrustación de palabras (word embedding). En cada capa, cada token se contextualiza dentro del alcance de la ventana de contexto con otros tokens (sin máscara) a través de un mecanismo de atención de múltiples cabezas paralelo, lo que permite que la señal de los tokens clave se amplifique y los tokens menos importantes se reduzcan.

Question 37

¿Qué es seq2seq?

Answer 37

Seq2seq es una familia de enfoques de aprendizaje automático utilizados para el procesamiento del lenguaje natural. Las aplicaciones incluyen traducción de idiomas, subtítulos de imágenes, modelos conversacionales y resúmenes de texto. Seq2seq utiliza la transformación de secuencias: convierte una secuencia en otra secuencia.

Question 38

¿Qué es atención en aprendizaje automático?

Answer 38

Es un método que determina la importancia relativa de cada componente de una secuencia en relación con los demás componentes de esa secuencia. En el procesamiento del lenguaje natural, la importancia se representa mediante pesos "suaves" asignados a cada palabra de una oración. En términos más generales, la atención codifica vectores denominados incrustaciones de tokens en una secuencia de ancho fijo que puede tener un tamaño que va desde decenas hasta millones de tokens.

Question 39

¿Qué es Multi Head Attention?

Answer 39

Es un módulo para mecanismos de atención que ejecuta un mecanismo de atención varias veces en paralelo. Las salidas de atención independientes se concatenan y se transforman linealmente en la dimensión esperada. Intuitivamente, múltiples cabezas de atención permiten atender partes de la secuencia de manera diferente (por ejemplo, dependencias a largo plazo frente a dependencias a corto plazo).