Mirror, Mirror on the Screen – Personality Extraction with ChatGPT

Inspiriert von der Idee, persönliche Informationen aus der Interaktion mit einem Large Language Model (LLM) abzuleiten, überprüft diese Arbeit, wie genau ChatGPT die Persönlichkeit eines Users anhand eines Dialogs extrahieren kann.

Betrachtet wurden die drei Persönlichkeitsdimensionen Openness, Conscientiousness und Extraversion des "Big Five"-Modells. In einer Studie (N = 13) nahmen Teilnehmende eine Selbsteinschätzung ihrer Persönlichkeit (Ground Truth) mithilfe eines abgewandelten Big Five-Inventars vor und führten dann kurze Dialoge mit ChatGPT. Im Anschluss schätzte ChatGPT ihre Ausprägungen der drei betrachteten Persönlichkeitsdimensionen anhand ihres Dialogs mittels zweier Analysestrategien ein: Anhand des gesamten Dialogs (pD) oder anhand jeder einzelnen Nachricht (pN). Zur Beurteilung von ChatGPTs Extraktionsleistung wurden die Einschätzung und Ground Truth verglichen. Die pD-Strategie (MAE = 0,61; SD = 0,51) und die pN-Strategie (MAE = 0,61; SD = 0,49) unterschieden sich insgesamt nur wenig hinsichtlich der Genauigkeit und Konsistenz ihrer Einschätzungen. Sie zeigten jedoch jeweils eigene Stärken in der Einschätzung bestimmter Persönlichkeitsdimensionen.