Textual ambiguities in the context of dyslexia - research: start-up

AmbiDYS

Health & well-living
Research

The AmbiDYS research project (LS2N/READi Design Lab/Mobidys) focuses on the detection and visualisation of textual ambiguities which could cause problems for learners with reading difficulties (in the context of using digital tablets). Various types of textual ambiguity are studied from a phonetic, lexical and anaphoric viewpoint.

About the project

The AmbiDYS research project studies the detection and visualisation of textual ambiguities which could cause problems for learners with reading difficulties. Our context focuses on digital tablets and texts for children, with the aim of improving the reading experience for young learners facing the challenges of dyslexia. Various types of textual ambiguity will be studied: phonetic (the French word “fils” for example can be translated as the singular noun “son” or the plural noun “threads” and is also pronounced differently in both cases), lexical (set and figurative expressions such as “prendre une veste” which translates literally as “to take a jacket” but actually means to suffer a defeat); and anaphoric (as in “il parle”/ “he speaks”). The team will study ways of visualising such ambiguities in a specially adapted interface and come up with new interactive modes that combine gestural, sound, vibratory and visual interactions.

Example of annotations in the book “Ali Baba and the 40 Thieves” (c)Ambydis

Results

For the detection of textual ambiguities, the team concentrated on anaphora. Anaphoric pronouns and their nominal groups were annotated in six children’s texts by a 4th-year speech therapy student. Two computer science Masters students worked on distinguishing impersonal pronouns from anaphoric pronouns and on resolving anaphora for the French pronouns “il” and “elle” (which can mean “he”, “she” or “it”). They also developed a method for assessing the difficulty of resolving anaphoric pronouns, taking into account the distance between the pronoun and its referent, the number of referents and the number of characters amongst the possible referents. Initial tests have shown promising results for distinguishing between impersonal and anaphoric pronouns and for anaphora resolution. A student internship in visualising ambiguities is currently under way at the READi Design Lab.

Publications and/or communications

Nathalie Chappey, Solen Quiniou, Béatrice Daille, Grégoire Cliquet. “L’apprentissage de la lecture face à la dyslexie” [learning to read with dyslexia], NumAccess Conference 2017 – poster presented.

 

Solen Quiniou, Béatrice Daille. “Towards a Diagnosis of Textual Difficulties for Children with Dyslexia”, LREC 2018 (Language Resources and Evaluation Conference) – under submission

Methodology

Detection of the impersonal pronoun “il”, which can mean “he” or “it”, is based on rules which indicate contexts in which “il” is impersonal. Selection of the correct referent for each anaphoric pronoun is based on the Mitkov algorithm which allocates a score to each potential referent, chosen from nominal groups in the two phrases preceding the pronoun. The methodology used to develop prototypes for visualising ambiguities follows an iterative principle.

Schedule

Phase 1: detection of textual ambiguities using automated approaches and by creating a model of textual ambiguity types

Phase 2: visualisation of textual ambiguities and interaction, by creating a visualisation prototype

Phase 3: dissemination of results by publishing scientific articles and taking part in conferences and exhibitions

Prospects

The project could be expanded to include the development of diagnostic tools for assessing difficulty levels in texts or parts of texts, based on detection of the ambiguities present. The team intends to submit a project proposal with a more extensive scope, including a thesis on computer science and design, at RFI West Creative Industries’ next call for projects. In the longer term, there are also plans to submit a project to the European Commission funded Horizon 2020 initiative.

Contacts

Solen Quiniou – solen.quiniou@univ-nantes.fr

Béatrice Daille – beatrice.daille@univ-nantes.fr

Grégoire Cliquet – g.cliquet@lecolededesign.com

Nathalie Chappey – nathalie.chappey@mobidys.fr

Marion Berthaut – marion.berthaut@mobidys.fr

Actors

Share on
Ambiguïtés textuelles dans le cadre de la dyslexie - Recherche : amorçage

AmbiDYS

Santé et mieux vivre
Search

Le projet de recherche AmbiDYS (LS2N/READi Design Lab/Mobidys) porte sur la détection et la visualisation des ambiguïtés textuelles pouvant poser des problèmes à des apprenants ayant des difficultés de lecture (tablettes numériques). Différents types d’ambiguïtés textuelles sont considérés au niveau phonétique, lexical et anaphorique.

Présentation

Le projet AmbiDYS étudie la détection et la visualisation des ambiguïtés textuelles pouvant poser des problèmes à des apprenants ayant des difficultés de lecture. Notre contexte applicatif concerne les tablettes numériques, pour améliorer l’expérience de lecture de textes de jeunesse numérique à destination d’enfants souffrant de troubles dyslexiques. Différents types d’ambiguïtés textuelles seront considérées : au niveau phonétique (par exemple, le mot “fils” peut être soit un nom singulier, soit un nom pluriel et il ne se prononce pas de la même façon dans les deux cas), au niveau lexical (par exemple, les expressions figées comme « prendre une veste ») ou encore au niveau anaphorique (comme dans « il parle »). Une fois les ambiguïtés détectées, l’équipe étudiera la visualisation de celles-ci au sein d’une interface adaptée, en proposant de nouvelles modalités d’interaction en combinant des interactions gestuelles, sonores, vibratoires et visuelles.

Exemple d'annotations sur le livre "Ali Baba et les 40 voleurs" (c)Ambydis

Résultats

Concernant la détection des ambiguïtés textuelles, l’équipe s’est concentrée sur le niveau anaphorique. Les pronoms anaphoriques ainsi que le groupe nominal référence de ces pronoms ont été annotés dans 6 textes jeunesse par une stagiaire en 4e année d’école d’orthophonie. Deux stagiaires en M1 Informatique ont travaillé sur la distinction du « il » impersonnel et du « il » anaphorique et sur la résolution des anaphores pour les pronoms « il » et « elle ». De plus, ils ont proposé une approche pour évaluer la difficulté de la résolution des pronoms anaphoriques, en prenant en compte la distance entre le pronom et son référent, le nombre de référents ou encore le nombre de personnages parmi les référents candidats. Les premières expérimentations ont montré de bons résultats pour la distinction entre pronoms impersonnels et anaphoriques ainsi que pour la résolution des anaphores. Concernant la visualisation des ambiguïtés, un stage est actuellement en cours au READi Design Lab.

Publications et/ou communications

Nathalie Chappey, Solen Quiniou, Béatrice Daille, Grégoire Cliquet. “L’apprentissage de la lecture face à la dyslexie”, conférence NumAccess 2017 (Entre compensation et accessibilité : quels usages du numérique dans les travaux sur les Handicaps et la perte d’Autonomie ?) – poster présenté

 

Solen Quiniou, Béatrice Daille. “Towards a Diagnosis of Textual Difficulties for Children with Dyslexia”, LREC 2018 (Language Resources and Evaluation Conference) – soumission en cours

Méthodologie

La détection des pronoms impersonnels « il » s’appuie sur des règles indiquant les contextes dans lesquels le pronom « il » est impersonnel. La sélection du bon référent pour chaque pronom anaphorique sujet s’appuie sur l’algorithme de Mitkov qui attribue un score à chaque référent candidat, choisi parmi les groupes nominaux présent dans les 2 phrases précédant le pronom. La méthodologie utilisée, pour le développement des prototypes de visualisation des ambiguïtés, suit un principe itératif.

Calendrier

Phase 1 : détection des ambiguïtés textuelles par des approches automatiques et avec la réalisation d’un démonstrateur d’ambiguïtés textuelles typées

Phase 2 : visualisation des ambiguïtés textuelles et interaction, avec la réalisation de démonstrateurs de visualisation

Phase 3 : diffusion des résultats par la publication d’articles scientifiques et la participation à des colloques et des salons

Perspectives

Le projet vise à se développer pour pouvoir également proposer des outils de diagnostic de difficultés de textes ou de parties de textes, en s’appuyant sur la détection des ambiguïtés présentes. L’équipe envisage la soumission d’un projet de plus grande ampleur, incluant une thèse en informatique et en design, lors du prochain appel du RFI Ouest Industries Créatives. La soumission d’un projet auprès de l’initiative Horizon 2020, portée par la Commission Européenne, est également envisagée à plus long terme.

Contacts

Solen Quiniou – solen.quiniou@univ-nantes.fr

Béatrice Daille – beatrice.daille@univ-nantes.fr

Grégoire Cliquet – g.cliquet@lecolededesign.com

Nathalie Chappey – nathalie.chappey@mobidys.fr

Marion Berthaut – marion.berthaut@mobidys.fr

Actors

Share on