Unraveling Human Values: Insights from Conversations with AI Conversational Agent

Abstract

Měření lidských hodnot se obvykle provádí skrze self-report dotazníky, které mohou být náchylné k tzv. sociálně žádoucím odpovědím a často bývají časově náročné. Rozvoj současných Konverzačních Agentů využívajících umělou inteligenci nám nabízí možnost prozkoumat přirozenější způsoby měření lidských hodnot skrze konverzaci. Zatímco se předchozí výzkumy zabývaly využitím Konverzačních Agentů k odhadu rysů a osobnostních typů dle teorie Big Five či Myers-Briggs, velmi málo se ví o možnostech využití Agentů pro odhad lidských hodnot. Cílem této práce bylo zjistit, zda Konverzační Agenti (GPT-3.5- Turbo-1106 a GPT-4o) dokáží na základě krátké textové konverzace rozpoznat, které hodnoty jsou pro daného člověka nejdůležitější. 203 účastníků vedlo krátkou konverzaci s jedním z Agentů a následně vyplnilo dotazník Portrait Values Questionnaire. Hodnoty, které Agenti určili jako nejdůležitější, byly poté porovnány s výsledky z dotazníku. Výsledky ukázaly, že oba Agenti dokázali odhadnout čtyři nejdůležitější hodnoty daného člověka s úspěšností převyšující náhodnou pravděpodobnost. K hlubšímu porozumění výsledkům byla provedena i vedlejší kvalitativní analýza. Přestože dosažená přesnost zůstává omezená, zjištění naznačují, že Konverzační Agenti by v budoucnu mohli sloužit jako časově úsporný a uživatelsky...

Human values are typically measured using self-report questionnaires, which may be prone to social desirability bias and might take a long time to complete. The rise of contemporary AI- powered Conversational Agents provides us with the possibility to develop a more engaging and time-efficient way to measure human values through natural conversation. While previous studies have investigated whether such Agents can infer personality traits, such as the Big Five or Myers-Briggs types, little research has explored their ability to assess human values. This study examined whether Conversational Agents (GPT-3.5-Turbo-1106 and GPT-4o) can identify individuals' most important values from short conversations with individuals. A total of 203 participants engaged in a brief text-based exchange with a Conversational Agent and then completed the Portrait Values Questionnaire. The values inferred by Conversational Agents were compared with questionnaire results. Both Agents identified participants' four most important values at rates exceeding random chance. The additional qualitative analysis of both Agents' utterances was conducted. Although this study represents only a first step, the findings indicate that Conversational Agents may eventually complement traditional self-report methods for assessing human...