Persona-aware chatbot response generation

Abstract

Tato práce se zabývá modelováním dialogu v otevřené doméně, tj. generováním odpo- vědí v základní sociální konverzaci, s využitím datové sady ConvAI2, přičemž se zaměřuje na použití neuronových jazykových modelů, zachování konzistentní osobnosti chatbota a celkové koherence dialogu. Pracujeme s modely z rodiny modelů GPT-2; modely dotréno- vané na datové sadě ConvAI2 vylepšujeme dvoustupňovým přístupem, kde je použit další model naučený hodnotit kandidáty vygenerované prvním modelem. Trénování modelu dále vylepšujeme pomocí přístupu direct preference optimization. Naše úpravy dosahují nejlepších výsledků ve skóre F1 na datové sadě ConvAI2. Následně hledáme optimální prompt pro GPT-3.5 pro tuto úlohu. Lidská evaluace ukazuje, že navzdory nižšímu F1 skóre, model GPT-3.5 překonává ve výkonu všechny ostatní naše modely. 1

This thesis investigates non-task-oriented open-domain dialogue modeling, i.e., gen- erating responses in a basic social conversation, using the ConvAI2 dataset, focusing on using neural language models and maintaining consistent chatbot's personality and over- all coherence. We work with finetuning models from the GPT-2 family; we improve over a basic finetuned generation setup with a two-stage approach and an additional model learned to rank candidates by the first model. We further improve model training using direct preference optimization. Our modifications achieve state-of-the-art performance in the F1 score on the ConvAI2 dataset. We then engineer a prompt for GPT-3.5 to use this large language model for the task. Human evaluation experiment reveals that, despite lower F1 scores, the GPT-3.5 model surpasses all others in performance. 1