Confidence Score / Confidence Level

-> zum BOTwiki - Das Chatbot Wiki

Der Confidence Score, oder auch Classification Threshhold, gibt an, wie sicher sich der NLP Service / das Machine Learning Model ist, dass der jeweilige Intent richtig zugeordnet wurde. Der Score kann einen Wert zwischen 0 und 1 besitzen, abhängig davon, wie die neuronalen Netze arbeiten. Generell wird bei jeder Benutzereingabe ein Score für jeden Intent berechnet und der, mit dem höchsten Wert, als Ergebnis zurückgegeben. Fällt das Confidence Level unter eine vorher festgelegte Grenze, wird ein Fallback Intent ausgegeben.

Ein Beispiel für die Berechnung des Confidence Score bei Google Dialogflow:

Für den Intent „Burger_bestellen“ wurden folgende vier Trainingsphrasen eingepflegt:

„Burger Bestellung“,

„Burger bestellen“,

„Ich möchte einen Burger in Bestellung geben“,

„Ich will einen Burger bestellen“

Bei der Nutzer-Eingabe von „Ich würde gerne einen Burger bei Ihnen bestellen“ hat Dialogflow einen Confidence Score von 0,8 berechnet. Der NLP Service Dialogflow ist sich also 80 % sicher, dass die ausgegebene Antwort aus dem Intent „Burger_bestellen“ richtig war. Aufgrund dieser Datenlage und anhand vorher definierter Regeln wird nun kein Fallback Intent ausgegeben.

> Zurück zum BOTwiki - Das Chatbot Wiki