L’IA pour traduire en langue des signes: pas pour tout de suite

Des chercheurs en intelligence artificielle (IA) ont créé des avatars, ou des personnages artificiels, capables de traduire du texte dans la langue des signes. Les experts de ce langage utilisé par les sourds-muets évaluent toutefois le résultat final entre «semi-compréhensible» et «inintelligible».

Les vidéos produites dans le cadre de cette étude sont «seulement pour démonstration» se défend toutefois l’un des chercheurs, Sen Fang, de l’Université Rutgers, au New Jersey.

Avec son équipe, il a d’abord créé une immense base de données de vidéos de gens s’exprimant dans l’un des huit langages des signes reconnus internationalement.

Résultats décevants

Ils en ont ensuite dégagé un modèle dit «squelettique» représentant le haut du corps d’une personne, puis ont «entraîné» leur modèle d’IA à traduire depuis l’allemand ou l’anglais des textes en langage signé. Leurs résultats, qu’ils qualifient d’encourageants, sont présentés dans un article prépublié en mai sur la plateforme ArXiv.

Mais un article publié récemment dans le magazine de vulgarisation The New Scientist refroidit leurs ardeurs.

Entre le personnage artificiel qui traduit un mot ou une phrase sous la forme d’images fixes et la transformation du tout en une séquence vidéo par un autre outil technologique, il y a une marge. Ce sont ces neuf vidéos qui ont attiré l’attention sur les réseaux sociaux et provoqué les réactions négatives.

Melissa Malzkuhn, qui enseigne à l’Université Gallaudet de Washington, une institution pour les sourds et malentendants, voit du potentiel dans ce travail, même si elle qualifie certaines des traductions d’«inintelligibles».

Pas d’expressions du visage

Elle souligne de plus que, dans le langage des signes, les expressions du visage sont importantes. Or, ces personnages n’en ont aucune, les chercheurs s’étant concentrés sur les mouvements des bras et les mains.

D’autres groupes y travaillent néanmoins. Son propre laboratoire développe des avatars pour des contes pour enfants — qui peuvent donc se permettre d’être très simplifiés.

Une compagnie britannique et une autre néo-zélandaise travaillent à partir de vidéos, mais pour des circonstances limitées : des annonces d’arrivée et de départ dans une gare de trains pour la première, et des situations d’urgence pour la deuxième.

Le moment d’une conversation sérieuse avec ces avatars n’est pas encore à l’horizon.