Confidence Score/ Confidence Level

Der Confidence Score, oder auch Classification Threshhold beschreibt, wie sicher der NLP Service/das Machine Learning Model ist, dass der jeweilige Intent richtig gematched wurde. Dabei kann dieser einen Wert zwischen 0 und 1, bedingt durch die Art und Weise, wie neuronale Netze arbeiten, besitzen. Generell wird bei jedem User-Input ein Score für jeden Intent berechnet und dann der Intent mit dem höchsten Wert als Ergebnis zurückgeben. Das Confidence Level hängt stark mit dem Fallback Intent zusammen, da dieser ausgegeben wird, sollte der Confidence unter einer vorher festgelegten Grenze liegen.

Ein Beispiel für die Berechnung des Confidence Scores bei Google Dialogflow:

Für den Intent “Burger_bestellen” wurden folgende vier Trainingsphrasen eingepflegt:

“burger bestellung”,

“burger bestellen”,

“ich möchte einen burger in bestellung geben”,

“ich will einen Burger bestellen”

Bei der Nutzer Eingabe von “Ich würde gerne einen burger bei Ihnen bestellen” hat Dialogflow einen Confidence Score von 0,8 berechnet. Der NLP Service Dialogflow ist sich also 80 % sicher, dass die ausgegebene Antwort aus dem Intent “Burger_bestellen” richtig war.

> Zurück zum BOTwiki - Das Chatbot Wiki