How to feed your Chatbot – Beat the Bot

Den Sprachassistenten herausfordern, damit er besser werden kann.

Publikation
© panuwat / fotolia

© panuwat / fotolia

In unserer vierteiligen Blog-Serie „How to feed your Chatbot“ möchten wir die Themen Chatbots und Sprachassistenten näher beleuchten. Dabei möchten wir zeigen, wie solche Assistenten in Grundzügen funktionieren, und natürlich auch, ob und wie solche Assistenten für Service- und Nutzerinformationen eingesetzt werden könnten.

In diesem vierten und letzten Teil wollen wir sicherstellen, dass unser Sprachassistent auch „gesellschaftsfähig“ ist. Die Key-Use-Cases haben wir vor langer Zeit ermittelt. Mögliche Fragen an einen Sprachassistenten wurden der Zielgruppe entlockt. Der Sprachassistent wurde mit sinnvollen Inhalten gefüttert. Vielleicht wurde auch zuvor das Metadatenkonzept verfeinert und ein Content-Delivery-Portal eingeführt, damit der Sprachassistent im Fall der Fälle betreffende Stellen in der Dokumentation zeigen kann.

Es scheint also alles so weit zu sein: Der Sprachassistent kann online gehen und die Welt mit den Informationen beglücken, auf die alle gewartet haben! Dies ist allerdings ein sensibler Moment. Ist der Sprachassistent erst einmal in der Welt, werden die ersten Leute den Sprachassistenten auch ausprobieren wollen. Funktioniert er dann nicht so wie geplant oder stellt die Zielgruppe doch andere Fragen als angenommen, führt das zwangsläufig zur Enttäuschung auf allen Seiten. Und eine enttäuschte Zielgruppe zu einem erneuten Versuch zu überreden, nachdem man Verbesserungen durchgeführt hat, ist ungleich schwieriger, als den Zauber des Anfangs zu nutzen. Um obligatorische Testphasen wie einem Alpha-Test des Sprachassistenten und einen Usability-Test darf man sich daher nicht drücken.

Doch wie lassen sich Sprachassistenten sinnvoll testen? Gegenlesen fällt hierbei ja eher schwer. Aber in einem Alpha-Test sollte man das in gewisser Weise tun und mit wenigen Testnutzern ausprobieren, ob technisch alles so klappt wie gedacht und der Sprachassistent auf geplante Fragen oder Themen so reagiert wie gewünscht.

Unverzichtbar vor dem Start: Usability-Tests unter realen Bedingungen

Dem Alpha-Test sollte ein Beta-Test folgen, der unbedingt als Usability-Test mit Vertretern der Zielgruppe angelegt sein sollte. Dieser Usability-Test sollte dabei so skaliert werden wie das restliche Projekt. Hier zu sparen, rächt sich nämlich gleich am ersten Tag der Einführung des Sprachassistenten. Ausgefeilte Usability-Tests bieten mit Befragungen, Beobachtungen während der Nutzung und verschiedenen weiteren Methoden diverse Möglichkeiten. Auch der Usability-Test sollte dabei an den eigenen Key-Use-Cases ausgerichtet werden. Im einfachsten Fall stattet man seine Testnutzer mit exklusiven Zugängen zu einer Testversion des Sprachassistenten aus und bittet sie, den Assistenten unter realen Bedingungen zu testen. Die Ergebnisse können sie in einer einfachen Matrix festhalten: In welcher Situation haben Sie gefragt? Was haben Sie gefragt? Welche Antwort haben Sie bekommen? Welche Antwort haben Sie erwartet? Eine solche Matrix kann schon eine wertvolle Hilfe bieten, einen Sprachassistenten zu optimieren, bevor er veröffentlicht wird.

Nach der Veröffentlichung sollten Sie gerade die ersten Tage nutzen, um Erkenntnisse daraus zu ziehen, wie Nutzer den Sprachassistenten wirklich verwenden. In der Software, mit der wir unseren Agent Smarty bauen, können wir beispielsweise anonymisiert sehen, welche Fragen Nutzer stellen, auf die der Sprachassistent keine Antwort wusste. Wir können dann die richtige Antwort zuordnen und der Sprachassistent lernt so stetig weiter und wird treffsicherer bei seinen Antworten. So sind auch indirekte Rückschlüsse über die anonymen Nutzerstatistiken möglich: Wie viele Fragen werden pro Sitzung gestellt? Nach welchen Fragen folgen weitere Fragen und wann ist der Wissensdurst der Zielgruppe gestillt? Hier liegt einiges Potential für Feintuning verborgen, das für regelmäßige Revisionen des Sprachassistenten genutzt werden sollte.

Regelmäßige Revisionen oder Updates sollten zudem fest eingeplant werden. Denn natürlich ändert sich die eigene Produktpalette und damit werden weitere Antworten vom Sprachassistenten notwendig. Zudem kann man so regelmäßig aus den Fragen der Nutzer etwas über deren Anforderungen an das Informationsportfolio und die Produkte selbst erfahren.

Neugierig geworden? Probieren Sie doch einmal aus, wie sich so ein Sprachassistent für Nutzerinformationen anfühlen könnte: Sie benötigen dazu die Google-Assistant-App und Ihr Google-Konto. Damit können Sie unseren Sprachassistenten Agent Smarty testen. Dieser kann Fragen beantworten, deren Antworten sich sonst auch in der Betriebsanleitung finden. Die Betriebsanleitung können Sie (nach Ihrer Registrierung) in unserem smart space einsehen.

  1. Starten Sie die App und sagen Sie „Okay Google, gib mir Agent Smarty!“.
  2. Auf die Frage zum Pumpentypen antworten Sie „KS5000“.
  3. Nun können Sie den Sprachassistenten verschiedene Fragen zum smarty Pumpenaggregat KS5000 stellen. Zum Beispiel: „Was mache ich bei Fehler 125?“ oder „Wie funktioniert die Bedieneinheit?“.

Interessieren Sie sich für einen eigenen Sprachassistenten für Service- und Nutzerinformationen? Dann kontaktieren Sie uns gerne.