Wenn wir einem Menschen begegnen, bilden wir uns innerhalb weniger Augenblicke eine erste Meinung. Haltung und Mimik vermitteln uns einen Eindruck, der dann durch Verhalten und Ausdrucksweise ergänzt wird. Ob wir jemanden für sympathisch, kompetent oder vertrauenswürdig halten, hängt oft von Kleinigkeiten ab. Mit Chatbots machen wir es genauso. Da sie auf menschliche Art kommunizieren – nämlich über Sprache – beurteilen wir sie anhand derselben Merkmale. Deshalb ist es wichtig, nicht nur darauf zu achten, was ein Chatbot sagt (Inhalt) sondern auch wie (Persönlichkeit). Aber welche Chatbot Persönlichkeit ist die beste? Wovon hängt das ab?

Diesen Fragen sind wir in Zusammenarbeit mit der Universität Würzburg nachgegangen. Als Versuchsobjekt diente dabei Liibot, ein Chatbot für Knowledge Bases im IT-Umfeld. Die überraschenden Erkenntnisse sind in diesem Artikel zusammengefasst.

Vielen Dank an Fiona Wiederer für Design, Durchführung und Auswertung der Studie.

 

Wie macht sich die Chatbot Persönlichkeit bemerkbar?

Genau wie bei Menschen: Kleidung, Verhalten, Ausdrucksweise.

Die „Kleidung“ eines Chatbots ist das Chatfenster. Bunt oder eher gedeckt? Eckig oder abgerundet? Times New Roman oder Calibri? Dazu kommt das Icon des Chatbots. Eine neutrale Sprechblase weckt andere Assoziationen als ein grinsendes Maskottchen.

Unter das Verhalten eines Chatbots fällt vor allem das Timing. Ein Bot, der den Nutzer von sich aus anspricht, wirkt vielleicht hilfsbereiter – oder, bei schlechtem Timing, aufdringlicher – als ein Bot, der wartet, bis er angesprochen wird. Auch während des Gesprächs ist Timing wichtig. Wie lange dauert es, bis die Antwort kommt? Wann werden zusätzliche Fragen gestellt, Vorschläge gemacht und Tipps gegeben? Wann an menschliche Kollegen weitergeleitet?

Die Ausdrucksweise ist der dritte Aspekt der Chatbot Persönlichkeit. Sie stand in unserer Studie im Fokus. Ausführlich oder knapp, salopp oder formell, persönlich oder maschinell?

Zur Veranschaulichung: Eine Variante des Liibots nutzt Floskeln wie „Let’s have a look…“, baut Smileys in die Antworten ein und spricht von sich in der 1. Person („I can find pages and answer FAQs.“). Außerdem äußert diese Variante Ansichten, etwa: „I suggest writing a mail to the service desk.“

Dem gegenüber stellten wir einen nüchternen, zielorientierten Bot. Er wählt stets die kürzest mögliche Formulierung wählt und bezeichnet sich selbst als „This bot“. Als Antworten gibt er nur Fakten und Anweisungen statt Empfehlungen und Vorschlägen.

 

Welchen Effekt hat eine geänderte Chatbot Persönlichkeit?

Das wurde in einer ganzen Reihe von Studien untersucht (Jain et al 2018, Chaves & Gerosa 2020, Ruane et al 2021, …). Generell hängt der Effekt eines Persönlichkeitsmerkmals von der Domäne ab. Das heißt, je nach Zweck des Bots und je nach Nutzergruppe kann dieselbe Persönlichkeit unterschiedliche Eindrücke erwecken. Zum Beispiel sind bei der Finanzberatung andere Eigenschaften gewünscht als bei der Modeberatung.

Nutzer bewerten Chatbots (wie alle Medien) anhand bestimmter Merkmale. Dazu gehören vor allem:

  • Nützlichkeit (Inwieweit erreiche ich mein Ziel?)
  • Usability (Wie schwierig ist es, das Medium zu nutzen?)

Man kann diese Faktoren auch zu einer Frage zusammenfassen: Erhöht der Chatbot meine Produktivität? Davon hängt die Nutzerzufriedenheit am stärksten ab. Weitere Einflussfaktoren sind Unterhaltsamkeit und generelle soziale Absichten (z.B. Bestätigung zu erfahren).

Anders ausgedrückt: Ein zu nüchterner Bot entfaltet sein Potential vielleicht nicht, weil er langweilig ist. Ein Bot, der zu viele Motivationsfloskeln und Witze von sich gibt, läuft Gefahr, nur als Spielzeug verwendet zu werden. Ein universell optimales Verhältnis zwischen freundlichem Smalltalk und aufgabenorientiertem Abarbeiten gibt es dabei nicht. Verschiedene Nutzer haben verschiedene Präferenzen. Deshalb ist es wichtig, den Bot nicht nur an die Aufgabe, sondern auch an die Nutzergruppe anzupassen.

 

Welche Persönlichkeit sollte ein IT-Chatbot haben?

Um das herauszufinden, haben wir den Chatbot Liibot mit 2 verschiedenen Persönlichkeiten ausgestattet. Liibot hilft Nutzern aus verschiedenen IT-Bereichen (DevOps, Service Desk, Management, …), Informationen in einer internen Knowledge Base zu finden. Technisch sind die beiden Versionen des Bots identisch. Sie verwenden dasselbe Sprachmodell, greifen auf dieselben Daten zu und nutzen dieselbe Oberfläche. Auch der Gesprächsverlauf ist gleich. Neben den schon beschriebenen Unterschieden in der Ausdrucksweise gibt es außerdem noch zwei kleine Unterschiede im Verhalten: Erstens ändert der Avatar des sozial ausgerichtete Bots seine Mimik je nach Situation. Der aufgabenorientierte Bot hingegen behält immer einen neutralen Gesichtsausdruck. Zweitens gibt der soziale Bot Antworten teilweise bis zu 1 Sekunde verzögert, während der aufgabenorientierte Bot stehts so schnell wie möglich antwortet.

80 Probanden (je 40 pro Bot-Variante) sollten dann eine Reihe von Aufgaben mit Hilfe des Liibots lösen. Zuvor wurde ihre Einstellung gegenüber Chatbots abgefragt und hinterher ihre Bewertung des Liibots.

Der Verdacht

Die Ausgangsvermutung war, dass

  • der soziale Bot als unterhaltsamer und sozial kompetenter bewertet wird.
  • der aufgabenorientierte Bot als fachlich kompetenter, nützlich und leichter zu bedienen wahrgenommen wird.

Produktivität gilt allgemein als wichtigste Qualität eines Mediums. Vor allem in IT-Unternehmen spielt Effizienz eine große Rolle. Emotionale Aspekte stehen weniger im Fokus. Deshalb gingen wir weiter davon aus, dass der aufgabenorientierte Bot insgesamt etwas besser abschneiden würde als der soziale.

Das Ergebnis

Die erste Vermutung stellte sich als wahr heraus. Der soziale Bot wurde als signifikant unterhaltsamer bewertet als der aufgabenorientierte Bot. Auch der Unterschied in der Bewertung der Sozialkompetenz war signifikant zugunsten des sozialen Bots.

Bezüglich der fachlichen Kompetenz und Nützlichkeit wurden die beiden Bot-Varianten gleich bewertet. Da die Bots dieselben Inhalte vermittelten, mag das nicht allzu verwunderlich sein. Zwar kann die Persönlichkeit auch die gefühlte Effizienz beeinflussen; aber dafür scheinen größere Anpassungen nötig zu sein, z.B. am Gesprächsverlauf oder der Oberfläche.

Überraschend waren die übrigen Ergebnisse. Bei der Usability zeichnet sich – entgegen der Erwartung – die Tendenz ab, dass der soziale Bot auch hier die Nase vorn hat. Die Gesamtqualität des Liibot-Services bewerten Nutzer der sozialen Variante sogar signifikant besser. Sie können sich tendenziell eher vorstellen, den Liibot auch in Zukunft zu nutzen und sind allgemein zufriedener.

Wie kommt das?

Dass der soziale Bot als in jeder Hinsicht gleich gut oder gar besser bewertet wird, kann verschiedene Ursachen haben. Da wäre zunächst die Testgruppe. Die bestand zum größten Teil nicht aus „echten“ IT-lern, sondern aus Studierenden, die sich über ein Szenario in einen IT-ler hineinversetzen sollten. Solche Methoden werden häufig verwendet. Trotzdem kann es die Ergebnisse verfälschen. Studierende mögen als Nutzergruppe andere Anforderungen mitbringen als IT-ler.

Der zweite Grund könnte darin bestehen, dass die soziale Variante die ursprüngliche Persönlichkeit des Bots ist. Gesprächsverlauf, Oberfläche und Avatar sind passend zu dieser Variante gewählt. Dadurch werden die Stärken der aufgabenorientierten Variante vielleicht in Teilen überlagert.

Schließlich bleibt natürlich noch eine dritte Erklärung: Es ist durchaus möglich, dass ein nüchterner, nur auf Resultate ausgelegter Bot tatsächlich auch in der IT weniger gut ankommt.

Fazit

Wie auch immer man die Ergebnisse der Studie interpretieren möchte – eines ist unbestreitbar: Die Chatbot Persönlichkeit lässt sich mit kleinen Änderungen an Ausdrucksweise und Verhalten merklich beeinflussen. Außerdem hat die Persönlichkeit einen deutlichen Einfluss darauf, wie die Nutzer den Chatbot bewerten. Das heißt auch, dass der Erfolg eines Chatbots nicht nur von der Technologie abhängt. Die Inhalte und ihre Ausgestaltung sind ebenfalls wichtig. Daher sollte bei der Planung eines Chatbot-Projekts ebenso viel Bedacht auf die Auswahl der Persönlichkeit und die Formulierung der Antworten verwendet werden wie auf die Auswahl der Tools. Achten Sie darauf, dass Ihr Bot zum Unternehmen passt und den richtigen Eindruck bei Kunden und Partnern erweckt. Genau, wie Sie es bei einem menschlichen Mitarbeiter auch tun würden.

 

 

 

Haben Sie Ideen, Fragen, Anregungen? Sie erreichen uns unter: marketing@avato.net

Impressum: 
Datum: September 2021
Autor: Isabell Bachmann
Kontakt: marketing@avato.net
www.avato-consulting.com
© 2021 avato consulting ag
All Rights Reserved.