AI Agent ROI Rechner
Kostenloses Training: Chatbot Crashkurs
Whitepaper: Die Akzeptanz von ChatbotsWizard of Oz Experiment
–-> zum BOTwiki
Unter der Wizard of Oz Methode wird im Bereich der Mensch-Computer-Interaktion ein Forschungsexperiment bezeichnet, bei dem Probanden mit einem Computersystem interagieren, das von den Probanden als autonom angesehen wird, das aber tatsächlich von einem unsichtbaren Menschen betrieben oder teilweise bedient wird.
Chatbots und Wizard of Oz
Chatbots eignen sich enorm gut für das Wizard of Oz Experiment. Dadurch kann ein Use Case bereits vor der Implementierung auf seine „Chatbot-Tauglichkeit“ untersucht werden. Mit den Erkenntnissen können dann iterativ bestehende Flows erweitert und neue Kommunikationsstränge definiert werden. Außerdem können die gesammelten Daten wie beispielsweise Utterances direkt für das Chatbot Training verwendet werden. Ein ausgereiftes Human Handover Tool ist sogar in der Lage, die getesteten Daten automatisiert in einen Chatbot umzuwandeln.
Empfohlene Vorgehensweise
- Verschiedene Chatbot Flows definieren
- Einbindung eines Live Chats oder eines leeren Chatbots der ausschließlich einen Human Handover triggert.
- Manuelle Beantwortung der Nutzeranfragen
- Ableiten von Chatbot Flows
- Beantwortung der Anfragen anhand der Chatbot Flows
- Iterative Überarbeitung und Erweiterung der Chatbot Flows
- Manuelle oder automatisierte Übernahme der Flows in ein Chatbot Builder
> Zurück zum BOTwiki
Das Wizard of Oz Experiment ist eine UX-Forschungsmethode, bei der Nutzende mit einem scheinbar autonomen System interagieren, dessen Antworten von einem unsichtbaren Menschen formuliert werden. Im Conversational-AI-Kontext dient das Verfahren dazu, Dialoge eines geplanten AI Agents realistisch zu testen, bevor das System produktiv ist. So lassen sich Use Cases validieren und echte Nutzerdaten erheben, ohne dass das NLU-Modell bereits trainiert sein muss.
Ein WoZ-Test lohnt sich vor allem dann, wenn ein neuer Use Case für einen AI Agent geplant ist und die Anforderungen an Dialogführung oder Tonalität noch unklar sind. Auch bei sensiblen Kanälen wie Voice-Hotlines, in denen Fehlertoleranz niedrig ist, hilft die Methode, früh Risiken aufzudecken. Sinnvoll ist sie zusätzlich, wenn intern Uneinigkeit darüber besteht, ob ein Thema überhaupt automatisierbar ist.
Aus dem Experiment ergeben sich qualitative und quantitative Daten: typische Nutzeräußerungen, Reaktionsmuster, Eskalationshäufigkeiten, häufige Missverständnisse und thematische Lücken. Diese Informationen fließen in Intent-Modelle, Dialog-Flows und Knowledge-AI-Inhalte ein. Damit ist das Experiment eine direkte Vorstufe zum produktiven Training eines AI Agents.
Während ein klassischer Prototyp-Test ein bereits implementiertes System prüft, untersucht das Wizard of Oz Experiment einen Use Case, dessen Logik noch gar nicht technisch existiert. Der Wizard ersetzt das Modell und liefert flexible Antworten, was deutlich realitätsnähere Dialoge ermöglicht. Dadurch entstehen Erkenntnisse, die in einer frühen Konzeptphase noch korrigierbar sind, statt erst nach der technischen Umsetzung sichtbar zu werden.