Evaluating the quality of machine translation output with HTER in domain-specific textual environment
DOI:
https://doi.org/10.31558/1815-3070.2023.46.8Keywords:
HTER; MT quality evaluation; post-editing; edit distance; MT error; Google Translate; DeepLAbstract
The implementation of neural networks in MT systems design has greatly challenged the existence of human translation. The emergence of translating models which adopt mechanisms of translation, imitating the work of the human brain, aroused high expectations of immediate breakthrough. However, despite significant improvements in accuracy and fluency of AI-powered MT systems, human assistance remains essential in the translation process.
References
Гудманян, А., Сітко, А., Струк, І. «Функціонально-прагматична адекватність машинного перекладу публіцистичних текстів». [B] Науковий журнал Львівського державного університету безпеки життєдіяльності «Львівський філологічний часопис»: зб. наук. праць 5. Львів, 2019: 48–54.
[Hudmanyan A., Sitko A., Struk I. «Funktsional’no-prahmatychna adekvatnist’ mashynnoho perekladu publitsystychnykh tekstiv». [V] Naukovyy zhurnal L’vivs’koho derzhavnoho universytetu bezpeky zhyttyediyal’nosti «L’vivs’kyy filolohichnyy chasopys»: zb. nauk. prats’ 5. L’viv, 2019: 48–54.]
Карабан, В. І., and А. В., Карабан. «Чи настає вже ера художнього машинного перекладу?(контекстуальні помилки машинного перекладача Deepl)». [B] Мова і культура, 2021: 438–445.
[Karaban, V. I., and A. V., Karaban. «Chy nastaye vzhe era khudozhn’oho mashynnoho perekladu? (kontekstual’ni pomylky mashynnoho perekladacha DeepL)». [V] Mova i kul’tura, 2021: 438–445.
Карпіна, Олена «Компаративний аналіз літературного й машинного перекладів (на матеріалі фрагментів роману C. Плат “The Bell Jar”)». [B] Актуальні питання іноземної філології : наук. журн. / редкол. І. П. Біскуб (гол. редактор) та ін. Луцьк: Східноєвроп. нац. ун-т ім. Лесі Українки 3, 2020: 94–101.
[Karpina, Olena «Komparatyvnyy analiz i mashynnoho perekladiv ((na materiali frahmentiv romanu S. Plat “The Bell Jar”)». [V] Aktual’ni pytannya inozemnoyi filolohiyi : nauk. zhurn. / redkol. I. P. Biskub (hol. Redactor ta in. Luts’k: Skhidnoyevrop. nats. un-t im. Lesi Ukrayinky 3, 2020: 94–101.]
Моісєєва, Наталія, Ольга, Дзикович, and Аліна, Штанько. «Машинний переклад: порівняння результатів та аналіз помилок DeepL та Google Translate». [B] Advanced Linguistics 11, 2023: 78–82.
[Moisyeyeva, Nataliya, Ol’ha, Dzykovych, and Alina, Shtan’ko. «Mashynnyy pereklad: porivnyannya rezul’tativ ta analiz pomylok DeepL ta Google Translate». [V] Advanced Linguistics 11, 2023: 78–82.]
ASD Simplified Technical English Specification ASD-STE100. URL: https://www.asd-ste100.org/ (29.08.2023)
Bhardwaj, Sh., Hermelo, D. A., Langlais, Ph., Bernier-Colborne, G., Goutte, C., and Simard, M... “Human or Neural Translation?”. [V] In Proceedings of the 28th International Conference on Computational Linguistics. Barcelona, Spain. International Committee on Computational Linguistics, 2020: 6553–6564. URL: https://aclanthology.org/2020.coling-main.576.pdf (9.09.2023)
Castilho, S., Moorkens, J., Gaspari, F., Calixto, I., Tinsley, J., Waya, A. “Is Neural Machine Translation the New State of the Art?”. [V] The Prague Bulletin of Mathematical Linguistics 108(108), 2017:109–120. DOI: 10.1515/pralin-2017-0013
How does DeepL work? URL: https://www.deepl.com/en/blog/how-does-deepl-work
ISO/IEC/IEEE 26514:2008 (IEEE Standard for Systems and Software Engineering - Requirements for Designers and Developers of User Documentation). URL: https://www.iso.org/standard/43073.html (29.08.2023)
Banerjee, S. and Lavie, A. [V] “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments”. Proceedings of the ACL 2005 Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization: 2005 URL: https://aclanthology.org/W05-0909/ (29.08.2023)
Cambridge dictionary URL: https://dictionary.cambridge.org/dictionary/english/oven (9.09.2023)
How do we compare to the competition? URL: https://www.deepl.com/en/quality.html
Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. “Bleu: a Method for Automatic Evaluation of Machine Translation”. [V] Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics 2002 URL: https://aclanthology.org/P02-1040.pdf (29.08.2023)
Snover, Matthew G. et al. “TER-Plus: paraphrase, semantic, and alignment enhancements to Translation Edit Rate”. [V] Machine Translation 23 (2), September 2009: 117–127. DOI: 10.1007/s10590-009-9062-9
Snover, Matthew, et al. A Study of Translation Edit Rate with Targeted Human Annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers. Cambridge, Massachusetts, USA. Association for Machine Translation in the Americas 2006: 223–231.
The IBM Style Guide: Conventions for Writers and Editors. URL: https://ptgmedia.pearsoncmg.com/images/9780132101301/samplepages/0132101300.pdf (29.08.2023)
Wu Y., Schuster M., Chen Zh., Le Quoc V., Norouzi M., Macherey W., Krikun M., Cao Yu., Gao Q., Macherey K., Klingner J., Shah A., Johnson M., Liu X., Kaiser L., Gouws S., Kato Y., Kudo T., Kazawa H., Stevens K., Kurian G., Patil N., Wang W., Young C., Smith J., Riesa J., Rudnick A., Vinyals O., Corrado G., Hughes M., and Dean, J. “Google’s neural machine translation system: Bridging the gap between human and machine translation”. arXiv: 1609.08144v2 [cs.CL] 2016. https://doi.org/10.48550/arXiv.1609.08144
