Final Exam Flashcards
(23 cards)
¿Qué es Transfer Learning?
Es una técnica de aprendizaje automático donde un modelo entrenado en una tarea se reutiliza en una tarea diferente pero relacionada.
¿Por qué es útil Transfer Learning?
Permite aprovechar modelos preentrenados para mejorar el rendimiento en tareas con datos limitados.
¿Cuáles son los tipos de Transferencia?
- Inductive Transfer Learning
- Transductive Transfer Learning
- Unsupervised Transfer Learning
¿Qué es Feature Extraction en Transfer Learning?
Se utilizan las capas del modelo preentrenado como extractor de características, y se entrena un nuevo clasificador sobre estas características.
¿Qué implica el Fine-Tuning en Transfer Learning?
Se reentrenan algunas o todas las capas del modelo preentrenado junto con el nuevo clasificador.
Menciona dos modelos populares en Visión por Computadora.
- ResNet
- VGG
- Inception
Menciona dos modelos populares en Procesamiento de Lenguaje Natural.
- BERT
- GPT
¿Qué es el Negative Transfer?
Ocurre cuando el conocimiento transferido perjudica el rendimiento en la tarea objetivo.
¿Qué es Overfitting en el contexto de Transfer Learning?
El modelo puede sobreajustarse a los datos de la tarea objetivo si son escasos.
¿Qué problemas pueden surgir al aplicar Transfer Learning entre dominios diferentes?
- Negative Transfer
- Overfitting
- Compatibilidad de Dominios
¿Cuándo es mejor usar Transfer Learning?
Cuando se dispone de un modelo preentrenado en una tarea relacionada y se tienen pocos datos en la tarea objetivo.
¿Qué es Self-Supervised Learning?
Es un paradigma de aprendizaje donde el modelo aprende representaciones útiles a partir de datos sin etiquetas explícitas.
¿Cuál es el objetivo del Self-Supervised Learning?
Aprender representaciones generales y útiles de los datos que puedan ser transferidas a tareas supervisadas posteriores.
¿Qué son las Pretext Tasks?
Son tareas auxiliares diseñadas para permitir que el modelo aprenda representaciones útiles de los datos sin necesidad de etiquetas humanas.
Menciona una técnica clave utilizada en Self-Supervised Learning.
- Contrastive Learning
- Data Augmentation
- Masked Modeling
¿Qué distingue al aprendizaje auto-supervisado del supervisado?
El aprendizaje auto-supervisado genera etiquetas automáticamente a partir de los datos sin intervención humana.
¿Qué son las RNNs?
Son una clase de redes neuronales diseñadas para procesar datos secuenciales.
¿Cuál es la arquitectura básica de una RNN?
La salida en el tiempo t depende de la entrada actual y del estado oculto anterior.
¿Qué es el Vanishing Gradient?
Los gradientes tienden a cero durante el entrenamiento, dificultando el aprendizaje de dependencias a largo plazo.
¿Qué es el Exploding Gradient?
Los gradientes crecen exponencialmente, lo que puede llevar a inestabilidad en el entrenamiento.
¿Cuál es una solución al problema del Vanishing Gradient?
LSTM (Long Short-Term Memory) introduce mecanismos de puertas para controlar el flujo de información.
¿Qué es un GRU?
Gated Recurrent Unit, simplifica la arquitectura de LSTM manteniendo un rendimiento similar.
¿Qué son las Bidirectional RNNs?
Procesan la secuencia en ambas direcciones (adelante y atrás) para capturar contexto completo.
