Theatre play generation

Abstract

This thesis explores different ways of improving theatre play script gen- eration. To generate a theatre play script, we fine-tune the GPT-2 medium language model on a mixture of theatre plays, movies, and TV show scripts, training it to continue a human-written script start. As plain language-model generation is not sufficient for generating a coherent full-length theatre play, we propose a two step hierarchical generation approach: first generating a plot summary and then conditioning the script generation on the plot summary. We train the hierarchical model on a dataset which we created by aligning plot sum- maries to script scenes using dynamic programming. We also propose additional approaches to make the generated text more consistent (with respect to char- acters and contradictions). We compare our models to a strong vanilla GPT-2 XL baseline and achieve comparable performance with our models being smaller and faster. Moreover, our hierarchical generation approach allows generating a coherent full-length theatre play script under limited human supervision, which has also been verified in practice by theatre professionals within the THEaiTRE project. 1

Tato diplomová práce zkoumá způsoby jak vylepšit generování scénáře di- vadelní hry. Abychom vygenerovali scénář divadelní hry, dotrénujeme jazykový model GPT-2 medium na směsi scénářů divadelních her, filmů a seriálů aby pokračoval v člověkem zadaném začátku scénáře. Pouhé generování jazykovým modelem nestačí na vytvoření celistvé celovečerní divadelné hry a proto navrhu- jeme dvoukrokový hierarchický přístup: nejdříve vygenerujeme dějové shrnutí a pak jím podmiňujeme generování scénáře. Trénujeme hierarchický model na souboru dat, který jsme vytvořili přiřazením dějových shrnutí k scénám v scénáři využitím dynamického programování. Taktéž navrhujeme vícero přístupů na vylepšení konzistence vygenerovaného textu (zaměřené na postavy a kontradikce). Naše modely porovnáváme s modelem GPT-2 XL a dosahují srovnatelných výsledků, přičemž jsou menší a rychlejší. Náš systém hierarchického generování umožňuje vygenerovat celistvou celovečerní divadelní hru s omezenými lidskými zásahy. Toto bylo ověřeno profesionálními dramaturgy v rámci projektu THEaiTRE. 1