| Resumen |
El uso de modelos de lenguaje basados en Transformers para tareas del procesamiento del lenguaje natural (PLN) es cada día mas común gracias a su potencial, su generalidad y gracias a que sus resultados superan de manera notoria otro tipo de estrategias y modelos. El principal problema de estos es su gran número de parámetros y la complejidad que esto representa para la explicabilidad del modelo durante el proceso de resolucion de una tarea en específico. El presente trabajo busca la explicabilidad para el funcionamiento del modelo BETO en la tarea de detección de noticias falsas utilizando un método alternativo al uso de pesos de atención encontrados en los mecanismos de atención de los Transformers. Se observa que las categorías gramaticales como la adposición, los determinantes, los sustantivos y los nombres propios representan los tokens mas importantes que el modelo analiza para obtener las estimaciones o resultados. A su vez, el trabajo expone que para el corpus analizado, el uso de mayusculas y el ignorar el entrenamiento de la capa de embeddings del modelo, mejora la comprensión de la tarea, presentando un valor F1 de 0.8653. |
