Vincent Guigne (Professeur, AgroParisTech) animera un Seminar@SystemX sur le thème « SCOPE: A Self-supervised Framework for Improving Faithfulness in Conditional Text Generation », le 23 mai 2025 de 10h à 11h.
Résumé
Large Language Models (LLMs), when used for conditional text generation, often produce hallucinations, i.e., information that is unfaithful or not grounded in the input context. This issue arises in typical conditional text generation tasks, such as text summarization and data-to-text generation, where the goal is to produce fluent text based on contextual input. When fine-tuned on specific domains, LLMs struggle to provide faithful answers to a given context, often adding information or generating errors. One underlying cause of this issue is that LLMs rely on statistical patterns learned from their training data. This reliance can interfere with the model’s ability to stay faithful to a provided context, leading to the generation of ungrounded information. We build upon this observation and introduce a novel self-supervised method for generating a training set of unfaithful samples. We then refine the model using a training process that encourages the generation of grounded outputs over unfaithful ones, drawing on preference-based training. Our approach leads to significantly more grounded text generation, outperforming existing self-supervised techniques in faithfulness, as evaluated through automatic metrics, LLM-based assessments, and human evaluations.
Biographie
Vincent Guigue est professeur en informatique au sein d’AgroParisTech (Paris-Saclay) depuis la rentrée 2022. Ses travaux, centrés sur les architectures d’apprentissage automatique, se structurent en trois axes : l’analyse de séries temporelles; le traitement automatique de la langue naturelle; l’apprentissage de profils et les systèmes de recommandation.
L’évolution des techniques de machine-learning ces dix dernières années est stupéfiante : une rupture aussi brutale n’a probablement jamais été observée dans l’histoire des sciences. Ces avancées déferlent sur la société dans son ensemble et posent à la fois des défis techniques et pédagogiques pour les rendre acceptables. La recherche de Vincent Guigue est très appliquée et repose principalement sur l’apprentissage de représentation, un cadre général flexible permettant de travailler à cheval entre les modalité de données, de reproduire les résultats de l’état de l’art tout en intégrant des contraintes métiers pour rendre ces architectures plus interprétables.
Inscription
