Asistent pro psaní textu založený na velkých jazykových modelech
Writing assistant based on large language models
bachelor thesis (DEFENDED)
![Document thumbnail](/bitstream/handle/20.500.11956/192055/thumbnail.png?sequence=8&isAllowed=y)
View/ Open
Permanent link
http://hdl.handle.net/20.500.11956/192055Identifiers
Study Information System: 261831
Collections
- Kvalifikační práce [10925]
Author
Advisor
Referee
Libovický, Jindřich
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Computer Science with specialisation in Programming and Software Development
Department
Institute of Formal and Applied Linguistics
Date of defense
28. 6. 2024
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
Czech
Grade
Excellent
Keywords (Czech)
velké jazykové modely|zpracování přirozených jazyků|deep learningKeywords (English)
large language models|natural language processing|deep learningStandardní přístup k mnoha úlohám zpracování přirozeného jazyka je vzít existující předtrénovaný velký jazykový model a dotrénovat jej pro danou úlohu. Tento přístup vede k tomu, že pro každou úlohu vznikne samostatný model, navíc je nutné dotrénování opakovat při přechodu na lepší předtrénovaný model. Tato práce zkoumá možnosti po- užití jediného veřejně dostupného modelu pro tři různé úlohy bez nutnosti dotrénování. Představujeme Preditor, asistenta pro psaní, který umí přepsat větu po nahrazení jed- noho z jejích slov, navrhuje pokračování věty a navrhuje slova, která se hodí doprostřed věty. Systém navrhujeme nezávisle na konkrétním modelu, což umožňuje jednoduchý pře- chod na nový model. Poskytujeme také rozšíření, které integruje asistenta do textového editoru. 1
A standard approach to many natural language processing tasks is to take an existing, pre-trained large language model and fine-tune it for the given task. Such an approach leads to having a separate model for each task; furthermore, the fine-tuning must be repeated when upgrading to a new pre-trained model. This thesis explores the possibilities of using a single off-the-shelf model for three different tasks without fine-tuning. We present Preditor, a writing assistant that supports rewriting a sentence after replacing one of its words, suggesting continuations, and suggesting words that fit into a sentence. We design the system in a model-agnostic way, making it possible to upgrade to a new model with little effort. We also provide an extension that integrates the assistant into the text editor. 1