La capacité des modèles neuronaux à construire, sans supervision explicite, des représentations de la langue a contribué aux progrès spectaculaires réalisés, ces dernières années, par les systèmes de traitement de la langue et de la parole. Si ces représentations permettent de développer des systèmes pour de nombreuses langues et de nombreux domaines, leur utilisation, notamment par l'intermédiaire des modèles pré-entrainés comme BERT, se fait au détriment de l'interprétabilité des décisions : il n'est généralement pas possible de savoir pourquoi un système prend telle ou telle décision et les raisons derrière les bonnes performances des modèles de l'état de l'art restent, en grande partie, inconnues.

Afin de répondre à ces questions, de plus en plus de travaux s’intéressent au problème de l’explicabilité des systèmes de TAL et explorent plusieurs questions liées :

•  à l’interprétation des modèles (model analysis & interpretability) qui ont pour objectif d’identifier les informations encodées dans les représentations neuronales [1] ;
•  au développement de méthodes capables de décrire et de justifier les étapes du raisonnement (model explicability) qui a permis aux modèles d’aboutir à une réponse, par exemple avec des chaînes de pensées (Chain-of-Thought) [2] ou des représentations structurées [4] ;
•  à l'évaluation des méthodes d'explication et leur véracité (faithfulness), c’est-à-dire si les explications proposées reflètent le processus de raisonnement derrière les prédictions du modèle [3] ;
•  au développement de systèmes « surs », capables de s’auto-justifier (model accountability).

Ce numéro thématique de la revue TAL a pour objectif de faire le point à la fois sur les méthodes d'analyse et d'explication des systèmes de TAL, mais aussi sur l'état de nos connaissances par rapport aux capacités langagières des modèles neuronaux et les limites de ceux-ci.

Les articles sollicités concernent les thématiques suivantes, sans y être limités pour autant :

• les méthodes permettant d'expliquer les décisions des réseaux de neurones (identification des éléments saillants, explication sous forme de texte libre, ...) et notamment celles, comme les méthodes d’analyse contre-factuelle, permettant d’établir des relations de causalité entre une prédiction et une entrée (ou une partie de celle-ci) ;
• les méthodes dites de “probing” permettant d'identifier les connaissances linguistiques et les connaissances du monde capturées par les représentations neuronales ;
•  les méthodes permettant de distinguer les informations qui sont uniquement capturées par les réseaux de neurones, de celles qui sont véritablement utilisées par les modèles pour proposer une réponse (corrélation versus causalité) ;
•  les méthodes utilisées pour analyser les modèles neuronaux dans des domaines connexes (linguistique expérimentale, vision par ordinateur, psychologie, etc) ;
• l'identification des biais des modèles de langue neuronaux ;
•  l’utilisation de méthodes de prompting pour générer des explications avec du texte ou des représentations structurées ;
•  l'étude sur des langages artificiels ou des exemples linguistiquement motivés ;
• l'évaluation des méthodes d'explication et, notamment, la définition de critères d'évaluation comme la véracité (faithfulness) ou la plausibilité (plausibility) et l’estimation de ces critères.

RÉRÉRENCES

[1] Interpretability and Analysis in Neural NLP (Belinkov et al., ACL 2020)
[2] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al., NeurIPS 2022)
[3] Towards Faithful Model Explanation in NLP: A Survey (Lyu et al., arxiv 2023)
[4] Causal Reasoning of Entities and Events in Procedural Texts (Zhang et al., EACL Findings 2023)

DATES IMPORTANTES

• Date limite de soumission : 15 octobre 2023 15 novembre 2023
  
• Notification aux auteurs, première relecture : janvier 2024
• Notification aux auteurs, seconde relecture : avril 2024
• Publication : sept 2024
  

LA REVUE

La revue TAL (Traitement Automatique des Langues) est une revue internationale éditée depuis 1960 par l’ATALA (Association pour le Traitement Automatique des Langues) avec le concours du CNRS. Elle est maintenant publiée en format électronique, avec accès gratuit immédiat aux articles publiés, et impression annuelle à la demande. Cela ne change aucunement son processus de relecture et de sélection.