André F. T. Martins
Título de la conferencia: Towards Explainable and Uncertainty-Aware NLP
Resumen:
Natural language processing systems are becoming increasingly more accurate and powerful. However, in order to take full advantage of these advances, new capabilities are necessary for humans to understand model predictions and when to question or to bypass them. In this talk, I will present recent work from our group in two directions.
In the first part, I will describe how sparse modeling techniques can be extended and adapted for facilitating sparse communication in neural models. The building block is a family of sparse transformations called alpha-entmax, a drop-in replacement for softmax, which contains sparsemax as a particular case. Entmax transformations are differentiable and (unlike softmax) they can return sparse probability distributions, useful for explainability. Structured variants of these sparse transformations, SparseMAP and LP-SparseMAP, are able to handle constrained factor graphs as differentiable layers, and they have been applied with success to obtain deterministic and structured rationalizers, with favorable properties in terms of predictive power, quality of the explanations, and model variability, with respect to previous approaches.
In the second part, I will present an uncertainty-aware approach to machine translation evaluation. Recent neural-based metrics for translation quality such as COMET or BLEURT resort to point estimates, which provide limited information at segment level and can be unreliable due to noisy, biased, and scarce human judgements. We combine the COMET framework with two uncertainty estimation methods, Monte Carlo dropout and deep ensembles, to obtain quality scores along with confidence intervals. We experiment with varying numbers of references and further discuss the usefulness of uncertainty-aware quality estimation (without references) to flag possibly critical translation mistakes.
This is joint work with Taya Glushkova, Nuno Guerreiro, Vlad Niculae, Ben Peters, Marcos Treviso, and Chryssa Zerva in the scope of the DeepSPIN and MAIA projects.
Biografía:
André F. T. Martins es profesor del Instituto Superior Técnico, Investigador Senior en el Instituto de Telecomunicações y Vicepresidente de Investigación de IA en Unbabel en Lisboa, Portugal. También realiza consultoría científica para Priberam Labs. Sus áreas principales de investigación son el procesamiento del lenguaje natural y el aprendizaje automático. Hasta 2012, fue estudiante de doctorado en el programa conjunto CMU-Portugal en Tecnologías del Lenguaje, en la Universidad Carnegie Mellon y el Instituto Superior Técnico, bajo la supervisión de Mário Figueiredo, Noah Smith, Pedro Aguiar y Eric Xing. Desde 2018 es investigador principal de la ERC Starting Grant DeepSPIN (Predicción estructurada profunda en el procesamiento del lenguaje natural) en el Instituto de Telecomunicações, el Instituto Superior Técnico y Unbabel.
Más información en su página web
Barbara Plank
Título de la conferencia: Is Human Label Variation Really So Bad for AI?
Resumen:
Human variation in labeling is typically considered noise. Annotation projects in computer vision and natural language processing typically aim at minimizing human label variation, in order to maximize data quality and in turn optimize and maximize machine learning metrics. However, is human variation in labeling noise, or can we turn such information into signal for machine learning? In this talk, I will first illustrate the problem and then discuss approaches to tackle this fundamental issue.
Biografía:
Barbara Plank es catedrática de Inteligencia Artificial y Lingüística Computacional en LMU Munich, donde lidera el Laboratorio de Procesamiento del Lenguaje Natural del Centro para el Procesamiento de Información y Lenguaje (CIS). También es catedrática a tiempo parcial del Departamento de Ciencias de la Computación de ITU (IT University of Copenhagen), donde es codirectora de la unidad de investigación NLPnorth. Tiene una licenciatura y una maestría en ciencias de la computación y recibió su doctorado en lingüística computacional en 2011. Originaria de Tirol del Sur, Italia, trabajó y vivió en los Países Bajos, Italia, Dinamarca y Alemania. La profesora Plank investiga en la tecnología robusta del lenguaje, en particular el aprendizaje multilingüe y multidominio, el aprendizaje bajo sesgo de anotación y, en general, el aprendizaje automático semi-supervisado y débilmente supervisado para una amplia gama de aplicaciones de PLN que incluyen análisis sintáctico, la elaboración de perfiles de autor, minería de opiniones y extracción de información y relaciones. Ha recibido un Amazon Research Award, una Sapere Aude Grant del Independent Research Fund Denmark, es ELLIS NLP Scholar y en 2021 recibió un outstanding paper award en la EACL 2021 demo track
Más información en su página web