Plongez dans les mythes et les réalités de l'estimation et de l'assurance de la qualité des traductions, tels qu'ils sont perçus à travers le prisme de la méthodologie MQM (Multidimensional Quality Metrics). MQM est un système complet conçu pour évaluer et contrôler la qualité du contenu traduit. MQM sert de cadre normalisé d'assurance qualité linguistique (LQA) pour évaluer la qualité des traductions dans différentes catégories. L'évaluation des traductions dans le cadre de la méthodologie MQM permet d'identifier les points forts de votre processus de localisation et les possibilités d'amélioration.
Au cours de cette discussion, nous explorerons les erreurs courantes et les meilleures pratiques employées pour garantir une qualité linguistique de premier ordre. Découvrez comment la méthodologie MQM peut permettre aux responsables de la localisation et aux linguistes de minimiser les erreurs, d'éliminer la subjectivité et d'améliorer leur production de traductions.
Nos experts pour cette session sont
- Olga Beregovaya, vice-présidente de l'IA et de la traduction automatique
- Valerie Dehant | Directrice principale des services linguistiques
- Alex Yanishevsky - Directeur des déploiements de l'IA et de la traduction automatique
Qualité de la traduction : Comprendre la méthodologie MQM
Le secteur de la traduction, comme tous les autres, se nourrit de la qualité. Mais comment évaluer la qualité des traductions ? Le septième épisode de la "Reality Series" de Smartling a fourni des informations précieuses sur la qualité des traductions. Des aspects essentiels tels que la traduction automatique (TA), la traduction humaine (TH) et le cadre MQM (Multidimensional Quality Metrics) sont utilisés pour faire la lumière sur cette question complexe.
Mythe : un locuteur natif peut évaluer la qualité Les conférenciers ont commencé par démystifier le mythe persistant selon lequel tout locuteur natif peut évaluer la qualité d'une traduction. La mesure de la « qualité de traduction » est en effet beaucoup plus complexe. En fait, l'évaluation de la qualité est assez subjective et exige une compréhension approfondie du contexte et des nuances de la langue source et de la langue cible.
Cadre MQM Le sujet principal de la session était l'introduction du cadre MQM (mesures de qualité multidimensionnelles). Ce modèle s'éloigne des évaluations traditionnelles de l'adéquation et de la fluidité et fournit une méthode plus objective pour évaluer la qualité des traductions. Il prend en compte des facteurs tels que l'adéquation, la fluidité et l'exploitabilité tout en encourageant une évaluation à l'aveugle. Les conférenciers ont souligné l'importance de l'évaluation à l'aveugle dans le MQM, dans le cadre de laquelle les évaluateurs ne savent toujours pas si la traduction a été effectuée par un humain ou une machine. Ils ont souligné le rôle essentiel de cette technique dans l'élimination de tout biais dans l'évaluation.
En quoi le MQM diffère-t-il des méthodes classiques ? Olga Beregovaya a déclaré que tout dépend de la classification et de la quantification des « erreurs de traduction ». Dans le modèle MQM, les erreurs sont classées et des poids de gravité sont attribués pour calculer un score de qualité global. Cette méthodologie nous permet de quantifier le concept de qualité de traduction, en le transformant en une valeur numérique qui peut être utilisée pour l'améliorer.
Les orateurs ont abordé d'autres mesures d'évaluation industrielles pertinentes telles que BLEU, TER et l'estimation de la qualité à l'aide de grands modèles linguistiques (LLM). Ces outils, combinés à l'expérimentation en cours des LLM pour l'estimation de la qualité et l'évaluation sémantique, améliorent considérablement notre compréhension du comportement des moteurs.
Olga Beregovaya a mis en lumière la différence entre notation textuelle et notation sémantique. La notation textuelle prend principalement en compte la différence de caractères ou de mots nécessaire pour apporter un changement, tandis que la notation sémantique étudie les associations entre les mots et les concepts dans les phrases. Elle a également souligné l'importance de l'implication humaine dans l'identification des valeurs statistiques aberrantes et des exceptions.
Alex Yanishevsky a soulevé la question de la qualité des données dans le contexte du déploiement de grands modèles linguistiques (LLM). Il a affirmé que des données de haute qualité sont fondamentales et a souligné la nécessité de capturer les hallucinations lorsque le modèle s'écarte de manière significative du sens réel.
Arbitrage et indicateurs de performance clés Valérie Dehant a souligné le rôle de l'arbitrage dans la résolution des désaccords entre linguistes et dans la mise en place d'un étiquetage cohérent des erreurs. Elle a souligné le rôle central de la méthodologie MQM pour faciliter l'arbitrage dans les scénarios où des étiquettes contradictoires de catégories d'erreurs nuisent à l'apprentissage des modèles. La capacité d'arbitrage unique du MQM permet de distinguer clairement les erreurs, ce qui permet un processus de formation des modèles fluide.
Alex Yanishevsky a fait remarquer que les indicateurs clés de performance (ICP) pour la traduction automatique et la traduction humaine sont spécifiques à l'objectif du contenu. Il a suscité l'intérêt en citant l'engagement émotionnel, la satisfaction des utilisateurs, les conversions et la résolution des tickets d'assistance comme indicateurs clés de performance potentiels en fonction du type de contenu et de la manière dont il a été traité (traduction automatique ou traduction humaine).
Valérie Dehant a présenté la boîte à outils de Smartling qui rationalise la création de schémas, la journalisation des erreurs et la promotion de la collaboration entre les évaluateurs via un tableau de bord, équipé de scores MQM, qui fournit des informations détaillées sur les erreurs et les domaines potentiels d'amélioration. Cette analyse granulaire des erreurs facilite l'élaboration de plans d'action pour l'amélioration de la qualité.
Le verdict En comprenant la science qui sous-tend la qualité des traductions et en mettant en œuvre le cadre MQM, nous pouvons aborder l'évaluation de la qualité à l'aide d'une méthode standardisée et fiable. En outre, l'épisode 7 souligne que la combinaison de l'automatisation et de l'analyse humaine est essentielle pour améliorer les modèles, identifier les anomalies et améliorer l'évolutivité du processus d'évaluation. Regardez l'épisode dans son intégralité ci-dessus !
