Présentation du premier modèle d’IA qui traduit 100 langues sans dépendre de l’anglais.

<br> * Facebook AI présente M2M-100, le premier modèle de traduction
automatique multilingue (MMT) qui peut traduire entre n’importe quelle
paire de 100 langues sans s’appuyer sur des données en anglais. C’est
open source ici . * Lors
de la traduction, par exemple, du chinois vers le français, la plupart
des modèles multilingues centrés sur l’anglais s’entraînent du chinois
vers l’anglais et de l’anglais vers le français, car les données de
formation en anglais sont les plus largement disponibles. Le model de
Facebook modèle s’entraine directement sur des données chinoises vers
françaises pour mieux préserver le sens. Il surpasse les systèmes
centrés sur l’anglais de 10 points sur la métrique BLEU largement
utilisée pour évaluer les traductions automatiques. * M2M-100 est
formé sur un total de 2 200 instructions linguistiques, soit 10 fois
plus que les meilleurs modèles multilingues centrés sur l’anglais. Le
déploiement de M2M-100 améliorera la qualité des traductions pour des
milliards de personnes, en particulier celles qui parlent des langues à
faibles ressources. * Cette étape importante est l’aboutissement
d’années de travail fondamental de Facebook AI dans la traduction
automatique. Aujourd’hui, nous partageons des détails sur la façon dont
nous avons construit un ensemble de données et un modèle de formation
MMT plus diversifiés pour 100 langues. Nous publions également le modèle, la formation et la configuration d’évaluation pour aider d’autres chercheurs à reproduire et à faire progresser les modèles multilingues.

Briser les barrières linguistiques grâce à la traduction automatique (TA) est l’un des moyens les plus importants de rassembler les gens, de fournir des informations faisant autorité sur COVID-19 et de les protéger des contenus préjudiciables. Aujourd’hui, nous générons en moyenne 20 milliards de traductions chaque jour sur Facebook News Feed, grâce à nos récents développements dans la traduction automatique à faibles ressources et aux avancées récentes pour évaluer la qualité de la traduction.

Les systèmes de TA typiques nécessitent la création de modèles d’IA distincts pour chaque langue et chaque tâche, mais cette approche ne s’adapte pas efficacement sur Facebook, où les gens publient du contenu dans plus de 160 langues sur des milliards de publications. Les systèmes multilingues avancés peuvent traiter plusieurs langues à la fois, mais compromettent la précision en s’appuyant sur des données en anglais pour
combler le fossé entre les langues source et cible. Nous avons besoin d’un modèle de traduction automatique multilingue (MMT) capable de traduire n’importe quelle langue pour mieux servir notre communauté, dont près des deux tiers utilisent une langue autre que l’anglais.

Au terme de nombreuses années de recherche en TA sur Facebook, nous sommes ravis d’annoncer une étape importante : le premier modèle unique massivement MMT qui peut directement traduire 100 × 100 langues dans n’importe quelle direction sans se fier uniquement aux données centrées sur l’anglais. Notre modèle multilingue unique fonctionne aussi bien que les modèles bilingues traditionnels et a obtenu une amélioration de 10 points BLEU par rapport aux modèles multilingues centrés sur l’anglais. En utilisant de nouvelles stratégies d’exploration pour créer des données de traduction, nous avons construit le premier ensemble de données véritablement « plusieurs-à-plusieurs » avec 7,5 milliards de phrases pour 100 langues. Nous avons utilisé plusieurs techniques de mise à l’échelle pour construire un modèle universel avec 15 milliards de paramètres, qui capture les informations des langues apparentées et reflète un script plus diversifié de langues et de morphologie. Nous sommes en train d’ouvrir ce travail

La suite c’est par ici