Une application de traduction en langue des signes deviendra-t-elle un jour une réalité?

Publicité

Imaginez un monde où les barrières entre les sourds et l'ouïe ont disparu. Un monde où les conversations coulent de manière fluide entre ceux qui entendent le son et ceux qui ne l’entendent pas. Ce monde pourrait-il devenir réel dans un avenir proche?

En juin, un groupe d'étudiants en marketing de la Berghs School of Communication a développé une vidéo conceptuelle pour un produit fictif appelé Google Gesture. Le produit comprenait un bracelet portable et une application mobile qui utilisait l'électromyographie pour lire les mouvements musculaires d'une personne sourde faisant du langage des signes. Le système a ensuite transmis ces signaux à l'application, qui a traduit ces signaux en une voix numérisée et parlait pour la personne.

Regarder la fausse vidéo de marketing était assez excitant. Si excitant, en fait, que les principaux sites technologiques tels que Mashable, Slashgear et d'autres ont initialement annoncé que le produit était réel, puis ont ensuite dû raconter la réclamation et s'excuser pour leur erreur. C'était une erreur étrange, étant donné qu'il y a vraiment

est un produit Google appelé Google Gesture Search [No Longer Available], qui vous permet de dessiner des gestes sur votre écran mobile pour rechercher des contacts, des signets et plus encore.

Quoi qu'il en soit, le concept des étudiants de Berghs a présenté une idée remarquable, menant à la question - pourrait-il être possible de créer une telle application pour de vrai?

La traduction de la langue des signes est-elle possible?

Décortiquer le concept de marketing au niveau technique révèle que la technologie utilisant l'électromyographie (EMG) pour «détecter» le langage des signes n'est pas si farfelue du tout. Dès 2009, des chercheurs de l'Université de Washington ont pu utiliser plusieurs capteurs EMG pour décoder les mouvements musculaires et les convertir en véritables gestes des bras et des mains.

Les chercheurs ont en fait construit une «bibliothèque de reconnaissance des gestes» complète, identifiant quels signaux musculaires représentaient quel geste. La recherche prouve que ce type de technologie est disponible et prêt à être mis en œuvre dans le type d'application envisagé par les étudiants de Berghs.

Alors, quelqu'un a-t-il déjà accompli cela? Sinon, pourquoi personne ne le fait et ne donne aux sourds et malentendants la possibilité de communiquer avec n'importe qui dans le monde par le biais de la langue des signes?

L'avenir de la technologie de traduction en temps réel

La vérité est que quelqu'un travaille en fait sur une telle technologie de traduction en langue des signes en temps réel.

Il existe une entreprise appelée SpeechTrans [Broken URL Removed], qui repousse les limites de technologies de traduction Oubliez Google Translate: 3 façons d'obtenir une traduction précise et rapideQue vous envisagiez de postuler pour un emploi ou un appartement à l'étranger, ou que vous cherchiez à traduire votre page Web, vous devez faire les choses correctement même avec une langue étrangère. Lire la suite dans les années récentes. SpeechTrans travaille avec des partenaires technologiques pour produire certains des services de traduction en temps réel les plus remarquables sur le marché aujourd'hui. Ce sont des services qui traduisent le chat textuel en chat textuel, la voix en texte et même la traduction de langue voix en voix en temps réel via des applications de téléphone mobile et de bureau.

Pour explorer si une technologie en langue des signes pourrait devenir une réalité dans un avenir proche, MakeUseOf a rencontré le PDG de SpeechTrans, John Frei, et le directeur de l'exploitation Yan Auerbach pour discuter de cette nouvelle révolutionnaire. technologie de traduction Comprendre n'importe quelle langue avec ces 5 sites de traduction de languesLa technologie a fait du monde un endroit plus petit. Les gens de toutes les régions de cette planète utilisent plusieurs des mêmes outils, visitent certains des mêmes sites Web et se mélangent dans diverses salles de discussion en ligne. Le... Lire la suite et à quel point dans le futur cela pourrait être.

Développement d'une application de traduction en langue des signes

MUO: Est-il possible de faire le type de traduction de la langue des signes en parole que les étudiants Berghs ont décrit dans cette vidéo sur le concept Google Gesture?

John: Je dirais que la technologie est disponible pour développer cela. Nous travaillons actuellement avec Microsoft et Intel pour explorer certaines des technologies qu’ils proposent, en termes de matériel et de logiciels. Nous envisageons la possibilité d'utiliser cette technologie pour reconnaître la langue des signes, puis la convertir en sortie vocale et audio.

MUO: Vous travaillez activement au développement de cette technologie en ce moment?

Yan: Donc, il y avait un client qui utilisait notre logiciel, et pensait que ce serait merveilleux si nous pouvions le modifier pour que les personnes malentendantes puissent l'utiliser pour passer des appels téléphoniques depuis notre application, pour communiquer sans avoir besoin de la langue des signes quand ils sont en personne, ou sans avoir besoin d'un service de type ATS pour téléphone appels. Nous avons développé ce produit, et avec le financement de Microsoft et Intel, nous avons lancé SpeechTrans pour les malentendants sur Windows 8.1, ce qui supprime le besoin de langue des signes.

MUO: Comment fonctionne l'application «en personne»?

Yan: Il existe un mode d'écoute et un mode d'entrée. Ainsi, lorsque quelqu'un vous parle, vous activez le mode d'écoute et il tape tout ce qu'il dit à l'écran sous forme de texte. Ensuite, lorsque vous répondez en retour, vous le tapez et il dit à haute voix ce que vous tapez. Avec le téléphone, vous composez simplement le numéro de téléphone de n'importe quelle personne, et lorsqu'elle répond au téléphone, cela devient comme un message instantané. Quoi qu'ils parlent, vous obtenez en tant que MI. Ensuite, tout ce que vous tapez est prononcé à haute voix par téléphone. C’est la première phase.

Traduction proche de la langue des signes

MUO: Quelles technologies les gens peuvent-ils espérer voir dans un avenir proche? Quelle est la prochaine phase?

John: Nous envisageons - pour quelqu'un qui n'a que la capacité d'utiliser la langue des signes - de pouvoir le faire devant un appareil tel qu'un téléphone, un PC ou un ordinateur portable. Intel a un nouveau système de caméra, et Microsoft fait de même avec le Kinect, qui fait la reconnaissance des gestes.

MUO: Comment est-ce mieux que le concept de brassard proposé par les étudiants de Berghs?

Yan: Fondamentalement, le nôtre va fonctionner d'une manière où il ne vous obligera pas à mettre quoi que ce soit sur votre bras. Il reconnaîtra 64 points sur votre main. Nous utilisons la version bêta de la caméra RealSense d'Intel. Ainsi, non seulement nous pourrons reconnaître toute la langue des signes et plusieurs dialectes différents de la langue des signes, mais nous être également capable de reconnaître les émotions, les expressions faciales et d'autres petites nuances, puis de les convertir en mots parlés comme bien.

Cela ne vous obligera pas à porter de gants ou quoi que ce soit. Nous nous concentrons sur ce marché spécifiquement parce que nous aimons juste aider les gens en général. Nous ne voulons pas seulement aider les gens qui veulent parler dans de nombreuses langues différentes, mais nous voulons aussi aider les gens qui ne peuvent parler dans aucune langue. La technologie existe et il n'y a aucune raison que leur qualité de vie soit différente de la nôtre.

John: C’est un concept réalisable. C’est juste une entrée et une sortie différentes. Certaines des conversations que nous avons eues avec Microsoft au sujet de certaines des technologies futures sont quelqu'un pourrait en fait implanter une puce dans son cou, et il lit directement son onde cérébrale motifs. Donc, si vous aidez des gens qui ne peuvent pas communiquer, nous considérerions en fait quelque chose comme ça comme un déploiement de phase trois.

L'année dernière, un groupe d'étudiants est sorti avec un prototype fonctionnel d'un gant branché sur un ordinateur. Les gestes que vous avez faits avec le gant seraient alors reconnus et convertis en langue des signes. Ils ont donc déjà la capacité avec la technologie actuelle.

Notre vision est que nous ne voulons pas vraiment créer les accessoires comme les brassards que vous devez mettre. Il devrait être naturel et fluide pour eux [les gens qui utilisent la langue des signes] de le faire devant leur caméra vidéo. 90% de ce que les gens disent dans la communication est en fait dans leur langage corporel. En ayant accès à la reconnaissance faciale, aux gestes et aux émotions, nous pourrons utiliser ces données comme bien pour vous assurer que la traduction et ce qu'ils essaient de transmettre est exprimé dans la bonne forme.

MUO: Intel a-t-il près de 5 ans pour disposer de cette technologie de reconnaissance du langage des signes?

John: Intel a définitivement beaucoup de ressources disponibles. Leur technologie et leurs logiciels avancent à un rythme où nous pouvons y arriver assez rapidement.

MUO: Avez-vous un délai pour espérer mettre cette technologie sur le marché?

John: Pour la langue des signes, c'est environ 12 à 18 mois.

MUO: Quelqu'un d'autre a-t-il autre chose comme ça pour la traduction en langue des signes?

John: J'ai vu une vidéo YouTube d'IBM faisant un prototype où quelqu'un faisait du langage des signes, mais c'était une preuve de concept et il ne contenait que trois ou quatre mots qu'il reconnaissait. Nous avons plus de cinq cent mille mots avec lesquels nous prévoyons de le déployer, donc cela va le porter à un tout autre niveau.

Conclusion

Bien que la vision que les étudiants de Berghs ont imaginée ne devienne pas l'application de traduction en langue des signes du futur, cela ne signifie pas qu'un tel concept ne se réalisera pas. Ce que le travail effectué chez SpeechTran, Intel et Microsoft prouve, c'est que la traduction en langue des signes est presque certaine de devenir une véritable technologie en quelques années seulement. Cela n'impliquera probablement pas de brassards encombrants, mais plutôt rien de plus qu'une caméra vidéo spéciale et une application mobile.

Grâce à la magie du geste et de la reconnaissance faciale, cette application de traduction en langage des signes du futur promet de révolutionner complètement les communications interpersonnelles pour des centaines de milliers de malentendants 5 meilleures ressources pour les utilisateurs d'appareils Mac et Apple handicapés Lire la suite ou des personnes malentendantes partout dans le monde.