En este curso los estudiantes explorarán cómo los grandes modelos de lenguaje, como GPT-3 y BERT, están revolucionando la comprensión y generación del lenguaje natural. Descubriremos cómo estos modelos utilizan el aprendizaje profundo para analizar y generar texto, cómo se entrenan y afinan, y cómo se aplican en una variedad de tareas de procesamiento del lenguaje natural.

El curso está diseñado por competencias y alineado con el marco de habilidades SFIA8, por lo que se propone que los estudiantes logren responder a un nivel de responsabilidad 2 en el área de la ciencia de datos, de manera que aplica bajo orientación los modelos de inteligencia artificial para el análisis de hallazgos de soluciones mediante el procesamiento y modelado de lenguaje .

A través de un enfoque práctico, los estudiantes obtendrán experiencia directa con la implementación y uso de estos modelos, preparándose para aplicar estas herramientas en sus propios proyectos. Este curso es apropiado para principiantes y aquellos que buscan ampliar su conocimiento en inteligencia artificial y procesamiento del lenguaje natural.

Contenidos

Tema 1. Fundamentos de Modelos de Lenguaje

-Introducción a los modelos de lenguaje y su importancia
-Conceptos básicos de procesamiento de lenguaje natural (NLP)
-Funcionamiento de los modelos generativos de lenguaje
-Historia y evolución de los Modelos de Lenguaje (desde N-gramas hasta Transformers)
-Tema 2. Fundamentos de procesamiento del lenguaje natural
-Preprocesamiento de texto: tokenización, eliminación de stopwords, stemming/lematización
-Representación vectorial de palabras: bolsa de palabras (BoW), TF-IDF
-Word Embeddings: Word2Vec, GloVe, FastText

Tema 3. Modelos de lenguaje avanzados

-Introducción a Redes Neuronales Recurrentes (RNN) para el procesamiento del lenguaje
-Redes Neuronales Convolucionales (CNN) aplicadas al procesamiento de texto
-Introducción a los Transformers y su arquitectura
-Aplicaciones de los Transformers en PNL: BERT, GPT, T5

Tema 4. Aplicaciones prácticas y tendencias

-Generación de Texto usando Modelos de Lenguaje
-Técnicas de Fine-Tuning y Transfer Learning en PNL
-PNL Multilingüe y su importancia
-Presentación de casos de éxito y lecciones aprendidas en la aplicación de estos modelos

Metodología de Aprendizaje

La educación actual suele limitar a estudiantes, forzándoles a absorber contenidos en lugar de fomentar la solución colectiva de problemas. En CENFOTEC, buscamos modificar este enfoque mediante nuestra metodología de aprendizaje constructivista llamada 40-40-20.

La técnica 40-40-20 divide el tiempo de clase: 40% el profesor da un charla para inducir al pensamiento autónomo basado en conceptos clave; el siguiente 40% para resolver retos individuales o en grupo, que exigen exploración, donde el docente es un facilitador; y el 20% restante para una discusión guiada por el profesorado. Para mantener la atención, consideramos 1 hora lectiva como 50 minutos, especialmente en cursos de 3-4 horas.

Adicionalmente el estudiante deberá dedicar una cantidad de horas adicionales para completar retos extraclase que el profesor le asigne.