SQuAD (Stanford Question Answering Dataset)
SQuAD, acronyme de Stanford Question Answering Dataset, est un jeu de données de référence à grande échelle dédié à la compréhension de texte et à la réponse aux questions (Question Answering, QA). Il est conçu pour évaluer la capacité des systèmes d’intelligence artificielle à lire un passage de texte donné (contexte) et à répondre correctement à des questions dont la réponse est explicitement présente sous forme d’un segment de texte (span) dans ce contexte. Il s’agit d’une ressource fondamentale dans le domaine du traitement automatique du langage naturel (NLP).
Les concepts fondamentaux de SQuAD reposent sur la tâche de Question Answering extractif. Chaque exemple du dataset est constitué d’un triplet : un passage de contexte, une question portant sur ce contexte, et la réponse correspondante. Les contextes sont des paragraphes extraits d’articles de Wikipédia. Les questions sont formulées par des travailleurs humains (crowdworkers) qui ont lu le paragraphe. La caractéristique clé de SQuAD est que la réponse à chaque question doit être une portion exacte, continue ou discontinue selon les versions, du texte du contexte. Le système ne doit pas générer de réponse mais identifier et extraire la chaîne de caractères pertinente.
La création de SQuAD a été réalisée via une plateforme de crowdsourcing, Amazon Mechanical Turk. Les travailleurs lisaient des articles de Wikipédia et posaient des questions dont les réponses se trouvaient directement dans le texte. Ce processus a permis de générer un volume important de données (plus de 100 000 paires question-réponse pour la première version), mais introduit également la possibilité de biais liés aux choix des articles, à la formulation des questions ou à la sélection des réponses. L’objectif principal de SQuAD est de fournir un cadre d’évaluation standardisé pour mesurer la capacité des machines à comprendre un texte et à localiser une information spécifique, simulant une forme de lecture et de compréhension ciblée.
L’importance de SQuAD dans le domaine du NLP est considérable. Depuis sa publication, il s’est rapidement imposé comme le benchmark standard pour évaluer les systèmes de compréhension de texte et de QA extractive. Sa popularité a massivement stimulé la recherche et le développement de nouvelles architectures de modèles neuronaux, notamment les modèles basés sur les mécanismes d’attention et les Transformers comme BERT, RoBERTa, XLNet, et ALBERT. La mise à disposition d’un leaderboard public par l’Université de Stanford a encouragé une saine compétition au sein de la communauté scientifique, accélérant les progrès de manière significative.
L’impact de SQuAD dépasse le cadre purement académique. Il a directement influencé la conception des modèles de langage en favorisant les architectures capables d’effectuer des tâches de localisation précise de segments de texte. En fournissant une métrique quantifiable (principalement les scores Exact Match et F1), SQuAD a permis de mesurer objectivement les avancées réalisées. Les performances des meilleurs systèmes sur SQuAD ont atteint, voire dépassé, celles des humains sur cette tâche spécifique d’extraction, marquant une étape importante dans la capacité des machines à traiter l’information textuelle.
Les applications pratiques des systèmes entraînés ou évalués sur SQuAD sont nombreuses. Ces modèles forment la base de composants de réponse aux questions dans divers outils. Les moteurs de recherche les utilisent pour fournir des réponses directes et concises (featured snippets) en extrayant l’information pertinente d’une page web. Les assistants virtuels et chatbots s’en servent pour mieux comprendre les requêtes des utilisateurs et y répondre en se basant sur une base de connaissances ou des documents fournis. Dans le domaine professionnel, ils sont intégrés à des outils d’analyse de documents pour extraire rapidement des informations clés de contrats, de rapports ou d’articles scientifiques. Par exemple, un système entraîné sur une tâche de type SQuAD pourrait extraire le nom du PDG d’une entreprise à partir d’un rapport annuel en réponse à la question « Qui dirige l’entreprise ? ».
Il existe principalement deux variations importantes de SQuAD. La première version, SQuAD 1.1, publiée en 2016, contient uniquement des questions pour lesquelles une réponse existe dans le passage de contexte associé. Cela signifie qu’un modèle entraîné sur SQuAD 1.1 est toujours censé trouver une réponse. Pour rendre la tâche plus réaliste et plus difficile, SQuAD 2.0 a été introduit en 2018. Cette version ajoute plus de 50 000 questions « impossibles », créées par les crowdworkers pour ressembler aux questions « possibles » mais n’ayant volontairement pas de réponse dans le texte fourni. Les modèles évalués sur SQuAD 2.0 doivent non seulement extraire la bonne réponse lorsque celle-ci existe, mais aussi déterminer quand aucune réponse n’est présente dans le contexte et s’abstenir de répondre.
SQuAD est étroitement lié à plusieurs concepts clés en NLP. Il appartient au domaine plus large du Question Answering (QA), mais se concentre spécifiquement sur le QA extractif basé sur contexte, par opposition au QA génératif (où la réponse est générée), au QA abstrait (qui nécessite une synthèse ou un raisonnement plus profond) ou au QA basé sur une large base de connaissances externes. Il est une tâche centrale dans le domaine de la Machine Reading Comprehension (MRC) ou compréhension de texte par la machine. Le traitement automatique du langage naturel (NLP) est le champ d’étude global qui englobe ces problématiques.
D’autres concepts et termes pertinents incluent les datasets similaires, chacun avec ses propres caractéristiques : NewsQA (basé sur des articles de CNN), Natural Questions (questions réelles posées à Google), TriviaQA (questions de type trivia), CoQA (Conversational Question Answering), ou HotpotQA (qui nécessite un raisonnement multi-sauts sur plusieurs documents). Les métriques d’évaluation standard pour SQuAD sont l’Exact Match (EM), qui mesure le pourcentage de prédictions identiques à l’une des réponses de référence exactes, et le F1 Score, une mesure plus souple basée sur la moyenne harmonique de la précision et du rappel au niveau des mots (tokens), qui tolère des chevauchements partiels.
SQuAD a été développé et publié par des chercheurs du groupe de recherche en intelligence artificielle et en traitement du langage naturel de l’Université de Stanford. La première version (SQuAD 1.0, rapidement mise à jour en 1.1) a été présentée dans un article de recherche en 2016 par Pranav Rajpurkar et ses collaborateurs. Le dataset a été construit en utilisant des articles de Wikipédia comme source de contextes et Amazon Mechanical Turk pour la collecte des paires question-réponse. Face aux limitations de la première version, notamment l’hypothèse que chaque question a une réponse, SQuAD 2.0 a été publié en 2018 pour inclure des questions sans réponse possible dans le contexte, augmentant ainsi la complexité et le réalisme de la tâche.
Les avantages de SQuAD sont multiples. Sa grande taille fournit une quantité substantielle de données pour l’entraînement et l’évaluation de modèles complexes. Son statut de benchmark standardisé facilite la comparaison rigoureuse des performances des différents systèmes de QA. La nature extractive de la tâche est bien définie et permet une évaluation objective et reproductible grâce aux métriques EM et F1. Historiquement, SQuAD a été un catalyseur majeur pour l’innovation dans les architectures de modèles NLP, poussant la recherche vers des systèmes de plus en plus performants en compréhension de texte.
Cependant, SQuAD présente aussi des inconvénients, des défis et des limitations. Sa focalisation sur la QA extractive signifie qu’il n’évalue pas des capacités de compréhension plus profondes comme le raisonnement, la synthèse ou la génération de réponses nouvelles. Les modèles sont contraints par le contexte fourni et ne sont pas censés utiliser de connaissances externes. Des biais peuvent exister dans le dataset, hérités de la source (Wikipédia) ou du processus de crowdsourcing (par exemple, les types de questions posées ou le choix des spans de réponse).
De plus, la qualité et la nature des questions peuvent être critiquées. Certaines questions peuvent sembler artificielles ou trop dépendantes d’indices lexicaux simples, ne reflétant pas toujours la complexité des questions que les humains posent réellement. Il existe un risque de sur-optimisation (overfitting) des modèles sur les spécificités de SQuAD, limitant leur capacité à généraliser à d’autres types de textes ou de tâches de QA. Bien que SQuAD 2.0 ait introduit le défi des questions sans réponse, identifier correctement ces cas reste une difficulté pour de nombreux systèmes. Enfin, un score élevé sur SQuAD ne garantit pas nécessairement une compréhension linguistique profonde ou une capacité de raisonnement complexe de la part du modèle.