Wizard of Oz Experiment

Unter der Wizard of Oz Methode wird im Bereich der Mensch-Computer-Interaktion ein Forschungsexperiment bezeichnet, bei dem Probanden mit einem Computersystem interagieren, das von den Probanden als autonom angesehen wird, das aber tatsächlich von einem unsichtbaren Menschen betrieben oder teilweise bedient wird.[1]

Chatbots und Wizard of Oz

Chatbots eignen sich enorm gut für das Wizard of Oz Experiment. Dadurch kann ein Use Case bereits vor der Implementierung auf seine “Chatbot-Tauglichkeit” untersucht werden. Mit den Erkenntnissen können dann iterativ bestehende Flows erweitert und neue Kommunikationsstränge definiert werden. Außerdem können die gesammelten Daten wie beispielsweise Utterances direkt für das Chatbot Training verwendet werden. Ein ausgereiftes Human Handover Tool ist sogar in der Lage, die getesteten Daten automatisiert in einen Chatbot umzuwandeln.

Empfohlene Vorgehensweise

  1. Verschiedene Chatbot Flows definieren
  2. Einbindung eines Live Chats oder eines leeren Chatbots der ausschließlich einen Human Handover triggert.
  3. Manuelle Beantwortung der Nutzeranfragen
  4. Ableiten von Chatbot Flows
  5. Beantwortung der Anfragen anhand der Chatbot Flows
  6. Iterative Überarbeitung und Erweiterung der Chatbot Flows
  7. Manuelle oder automatisierte Übernahme der Flows in ein Chatbot Builder

> Zurück zum BOTwiki - Das Chatbot Wiki

Quellen

[1] Kelley, J. F., “An empirical methodology for writing user-friendly natural language computer applications”. Proceedings of ACM SIG-CHI ’83 Human Factors in Computing systems (Boston, 12–15 December 1983), New York, ACM, pp. 193-196