Multi-Source Simultaneous Speech Translation
Simultánní překlad řeči z více zdrojů
dissertation thesis (DEFENDED)
![Document thumbnail](/bitstream/handle/20.500.11956/190381/thumbnail.png?sequence=8&isAllowed=y)
View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/190381Identifiers
Study Information System: 213233
Collections
- Kvalifikační práce [10925]
Author
Advisor
Referee
Yvon, Francois
Niehues, Jan
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Computational linguistics
Department
Institute of Formal and Applied Linguistics
Date of defense
6. 6. 2024
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Pass
Keywords (Czech)
simultánní překlad řeči|překlad řeči|překlad z řeči do textu|strojový překlad|vícejazyčnost|vícezdrojovost|simultánní tlumočení|zpracování přirozeného jazykaKeywords (English)
simultaneous speech translation|speech translation|speech-to-text translation|machine translation|multilinguality|multi-sourcing|simultaneous interpreting|natural language processingNeuronový strojový překlad má schopnost překládat z několika paralelních vstupů v různých jazycích. Kvalita současného automatického simultánního překladu řeči trpí zejména když je zdroj zašumněný. Zkoumáme možnost využití více paralelních řečových signálů - originál a simultánní tlumočení - jako zdroje překladu s cílem dosáhnout vyšší kvality. Proto jsme vytvořili evaluační dataset ESIC (Europarl Simultaneous Interpreting Corpus). Dále analyzujeme aspekty simultánního tlumočení jako doplňkového paralel- ního zdroje. Poté zkoumáme odolnost vícezdrojového překladu proti chybám v přepisu a hodnotíme spolehlivost metrik strojového překladu na hodnocení simultánního překladu řeči. V neposlední řadě implementujeme Whisper-Streaming, nástroj na simultánní re- žim velkých offline modelů pro převod z řeči na text, který demonstruje současný stav poznání. 1
Neural machine translation has the capability to translate from several parallel in- puts into different languages. Current simultaneous speech translation sometimes faces issues with quality, especially when the source is noisy. We investigate the opportunity to use multiple parallel speech signals - the original and simultaneous interpreting - as sources for translation to achieve higher quality. We create an evaluation set ESIC (Europarl Simultaneous Interpreting Corpus). We analyze the challenges of simultane- ous interpreting when used as an additional parallel source. Then, we investigate the robustness of multi-sourcing to transcription errors and assess the reliability of machine translation metrics when evaluating simultaneous speech translation. Last but not least, we implement Whisper-Streaming, a tool that enables real-time processing of large offline speech-to-text models and demonstrates the state of the art. 1
Citace dokumentu
Metadata
Show full item recordRelated items
Showing items related by title, author, creator and subject.
-
Komparace výstupů z veřejně dostupných překladačů ve směru němčina-čeština
Defence status: DEFENDEDŘehořová, Klára (Univerzita Karlova, Filozofická fakulta, 2022)Date of defense: 1. 2. 2022Tato diplomová práce se zabývá kvalitou výstupů veřejně dostupných překladačů: překladače mezi sebou kvalitativně porovnat a otestovat jejich možnosti na překladu několika typů textů - textů uměleckých, informativních a ... -
Překladatel Ludvík Kundera
Defence status: DEFENDEDNešporová, Jitka (Univerzita Karlova, Filozofická fakulta, 2014)Date of defense: 21. 5. 2014Jitka Nešporová disertační práce ABSTRAKT Předmětem předkládané disertační práce, která je příspěvkem k dějinám českého uměleckého překladu po roce 1945, je osobnost a překladatelské dílo Ludvíka Kundery. Tento básník ... -
Komentovaný překlad: Tomas Nagel: What is it like to be bat?(In: Philosophical Review LXXXIII, 4 (October 1974)
Defence status: DEFENDEDHnyk, Tomáš (Univerzita Karlova, Filozofická fakulta, 2012)Date of defense: 10. 9. 2012