Coherence disruption in human-chatbot communication

Abstract

Výzkum konverzace se většinou provádí kvalitativně. Nahrávky lidských interakcí se přepisují a výzkum se provádí na základě toho, co se v datech objeví. Více případů určitého jevu v nahrávkách lidské interakce lze shromáždit pouze náhodou. Využití nahrávek lidské interakce pro zkoumání vzácnějších jevů, jako je například narušení ko- reference, je velmi obtížné. Tato práce se pokouší tento problém řešit pomocí konverzační umělé inteligence. Pomocí konverzačního programování lze ovlivnit průběh konverzace tak, aby obsahoval požadované podněty. U takto získaných dat však není zaručena jejich užitečnost. Je třeba provést anotaci, aby se potvrdilo, že v konverzaci skutečně došlo k zamýšleným podnětům. Cílem této práce je zjistit, zda lze takový přístup využít pro narušování koreferenčních vztahů v rámci odkrývaného textu konverzace. To se děje tak, že chatbot reaguje pomocí anafory, kterou lze pouze těžko či vůbec přiřadit k některé z kandidátních entit, které se dosud objevily v textu. Shoda mezi anotátory se ukázala jako dostatečná pro anotaci získaných dat. Zdá se, že úspěšnost při vytváření různých podnětů závisí na složitosti podnětů což naznačuje možné kroky ke zlepšení rámce pro navrhování konverzace. Výsledek kvantitativního pozorování odpovídal očekávání pouze částečně. klíčová slova...

Most conversation research is done in a qualitative way. Recordings of human interaction are transcribed and research is being done on whatever is found in the data. Multiple instances of a certain phenomena in human interaction recordings can only be gathered by luck. Using human interaction recordings for studying rarer phenomena such as coref- erence disruptions is very hard. This paper attempts to tackle this challenge by using conversational AI. This way the course of the conversation can be influenced and pro- grammed to contain the desired stimuli. Data elicited this way is however not guaranteed to be useful. Annotation needs to be done to confirm that intended stimuli has indeed taken place in the conversation. The aim of this paper is to determine whether such ap- proach can be taken for disrupting coreference relations within the unraveling text of the conversation. This is done by having the chatbot respond using anaphora that is hardly or not at all assignable to any of the candidate entities previously mentioned in the text. Inter-annotator agreement has proven to be sufficient to annotate acquired data. The success in producing the various stimuli appears to depend on the stimuli complexity hinting at possible steps to improve the conversation design framework. The result of the...