Оцінювання якості машинного перекладу за Hter у специфічному галузевому текстовому середовищі
DOI:
https://doi.org/10.31558/1815-3070.2023.46.8Ключові слова:
HTER; MT quality evaluation; post-editing; edit distance; MT error; Google Translate; DeepLАнотація
У статті представлено ґрунтовний аналіз якості машинного перекладу на прикладі двох популярних систем машинного перекладу: Google Translate та DeepL, у контексті англо-української мовної пари. Дослідження зосереджене на оцінюванні результатів машинного перекладу за метрикою HTER у трьох тематичних галузях: публіцистика, технічна документація та юридичні документи. Процесом оцінювання передбачено розподіл редагувань, зроблених людиною, на вставлення, видалення, заміну та перестановку, кожне з яких продемонструвало певні показники. Дослідження заглиблюється в основні причини редагувань, що випливають з граматичних, стилістичних, культурних і термінологічних труднощів. Хоча результати дослідження продемонстрували досить високу продуктивність обох систем, з різницею між машинним перекладом і версією, відредагованою людиною, менше 1 %, дослідження підкреслило постійну потребу у втручанні людини в процес машинного перекладу.
Посилання
Гудманян, А., Сітко, А., Струк, І. «Функціонально-прагматична адекватність машинного перекладу публіцистичних текстів». [B] Науковий журнал Львівського державного університету безпеки життєдіяльності «Львівський філологічний часопис»: зб. наук. праць 5. Львів, 2019: 48–54.
[Hudmanyan A., Sitko A., Struk I. «Funktsional’no-prahmatychna adekvatnist’ mashynnoho perekladu publitsystychnykh tekstiv». [V] Naukovyy zhurnal L’vivs’koho derzhavnoho universytetu bezpeky zhyttyediyal’nosti «L’vivs’kyy filolohichnyy chasopys»: zb. nauk. prats’ 5. L’viv, 2019: 48–54.]
Карабан, В. І., and А. В., Карабан. «Чи настає вже ера художнього машинного перекладу?(контекстуальні помилки машинного перекладача Deepl)». [B] Мова і культура, 2021: 438–445.
[Karaban, V. I., and A. V., Karaban. «Chy nastaye vzhe era khudozhn’oho mashynnoho perekladu? (kontekstual’ni pomylky mashynnoho perekladacha DeepL)». [V] Mova i kul’tura, 2021: 438–445.
Карпіна, Олена «Компаративний аналіз літературного й машинного перекладів (на матеріалі фрагментів роману C. Плат “The Bell Jar”)». [B] Актуальні питання іноземної філології : наук. журн. / редкол. І. П. Біскуб (гол. редактор) та ін. Луцьк: Східноєвроп. нац. ун-т ім. Лесі Українки 3, 2020: 94–101.
[Karpina, Olena «Komparatyvnyy analiz i mashynnoho perekladiv ((na materiali frahmentiv romanu S. Plat “The Bell Jar”)». [V] Aktual’ni pytannya inozemnoyi filolohiyi : nauk. zhurn. / redkol. I. P. Biskub (hol. Redactor ta in. Luts’k: Skhidnoyevrop. nats. un-t im. Lesi Ukrayinky 3, 2020: 94–101.]
Моісєєва, Наталія, Ольга, Дзикович, and Аліна, Штанько. «Машинний переклад: порівняння результатів та аналіз помилок DeepL та Google Translate». [B] Advanced Linguistics 11, 2023: 78–82.
[Moisyeyeva, Nataliya, Ol’ha, Dzykovych, and Alina, Shtan’ko. «Mashynnyy pereklad: porivnyannya rezul’tativ ta analiz pomylok DeepL ta Google Translate». [V] Advanced Linguistics 11, 2023: 78–82.]
ASD Simplified Technical English Specification ASD-STE100. URL: https://www.asd-ste100.org/ (29.08.2023)
Bhardwaj, Sh., Hermelo, D. A., Langlais, Ph., Bernier-Colborne, G., Goutte, C., and Simard, M... “Human or Neural Translation?”. [V] In Proceedings of the 28th International Conference on Computational Linguistics. Barcelona, Spain. International Committee on Computational Linguistics, 2020: 6553–6564. URL: https://aclanthology.org/2020.coling-main.576.pdf (9.09.2023)
Castilho, S., Moorkens, J., Gaspari, F., Calixto, I., Tinsley, J., Waya, A. “Is Neural Machine Translation the New State of the Art?”. [V] The Prague Bulletin of Mathematical Linguistics 108(108), 2017:109–120. DOI: 10.1515/pralin-2017-0013
How does DeepL work? URL: https://www.deepl.com/en/blog/how-does-deepl-work
ISO/IEC/IEEE 26514:2008 (IEEE Standard for Systems and Software Engineering - Requirements for Designers and Developers of User Documentation). URL: https://www.iso.org/standard/43073.html (29.08.2023)
Banerjee, S. and Lavie, A. [V] “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments”. Proceedings of the ACL 2005 Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization: 2005 URL: https://aclanthology.org/W05-0909/ (29.08.2023)
Cambridge dictionary URL: https://dictionary.cambridge.org/dictionary/english/oven (9.09.2023)
How do we compare to the competition? URL: https://www.deepl.com/en/quality.html
Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. “Bleu: a Method for Automatic Evaluation of Machine Translation”. [V] Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics 2002 URL: https://aclanthology.org/P02-1040.pdf (29.08.2023)
Snover, Matthew G. et al. “TER-Plus: paraphrase, semantic, and alignment enhancements to Translation Edit Rate”. [V] Machine Translation 23 (2), September 2009: 117–127. DOI: 10.1007/s10590-009-9062-9
Snover, Matthew, et al. A Study of Translation Edit Rate with Targeted Human Annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers. Cambridge, Massachusetts, USA. Association for Machine Translation in the Americas 2006: 223–231.
The IBM Style Guide: Conventions for Writers and Editors. URL: https://ptgmedia.pearsoncmg.com/images/9780132101301/samplepages/0132101300.pdf (29.08.2023)
Wu Y., Schuster M., Chen Zh., Le Quoc V., Norouzi M., Macherey W., Krikun M., Cao Yu., Gao Q., Macherey K., Klingner J., Shah A., Johnson M., Liu X., Kaiser L., Gouws S., Kato Y., Kudo T., Kazawa H., Stevens K., Kurian G., Patil N., Wang W., Young C., Smith J., Riesa J., Rudnick A., Vinyals O., Corrado G., Hughes M., and Dean, J. “Google’s neural machine translation system: Bridging the gap between human and machine translation”. arXiv: 1609.08144v2 [cs.CL] 2016. https://doi.org/10.48550/arXiv.1609.08144
