G06V 10/776
Definition
Diese Klassifikationsstelle umfasst:Techniken zur Validierung und Leistungsbewertung von Algorithmen zum Erkennen oder Verstehen von Bildern oder Videos.
Anmerkungen – technischer Hintergrund
Diese Anmerkungen liefern weitere Informationen über die technischen Sachverhalte, die in diese Stelle klassifiziert werden:
Die Validierung und Leistungsbewertung von Algorithmen zum Erkennen oder Verstehen von Bildern oder Videos verwenden normalerweise:
- einen Trainingsdatensatz, d.h. eine Reihe von Beispielen, die zur Anpassung der Parameter eines Modells zur Mustererkennung oder zum maschinellen Lernen verwendet werden;
- einen Validierungsdatensatz, der eine unvoreingenommene Bewertung der Anpassung des Modells an den Trainingsdatensatz liefert (und dabei optional die Parameter des Modells optimiert); und
- einen Testdatensatz, der für eine unvoreingenommene Bewertung eines endgültigen Modells verwendet wird. Wenn die Daten im Testdatensatz noch nie für das Training verwendet wurden (z.B. bei der Kreuzvalidierung), wird der Testdatensatz auch als Holdout-Datensatz bezeichnet.
Gängige Klassifizierungsmetriken zur Bewertung der Modelle sind die Richtig-positiv-Rate [Sensitivität, True Positive Rate, TPR, Recall], die Falsch-positiv-Rate [Ausfallrate, False Positive Rate, FPR, Fall-Out], die Richtig-negativ-Rate [Spezifität, True Negative Rate, TNR], die Falsch-negativ-Rate [False Negative Rate, FNR, Miss Rate], Grenzwertoptimierungskurven [ ROC-Kurven] ( TPR geteilt durch FPR), z-Score, Korrektklassifikationsrate [Accuracy], Genauigkeit [positiver Vorhersagewert, Precision], negativer Vorhersagewert, der Jaccard-Koeffizient [Tanimoto-Index, Intersection over Union, IoU] usw. Andere Metriken sind ebenfalls möglich, z.B. Regressionsmetriken, Bestimmtheitsmaß [Explained Variance], Validierungskurven, Detection Error Tradeoff usw. Beim Lernen von Entscheidungsbäumen sind die Kompaktheit eines Clusters, die Reinheit eines Clusters in Bezug auf die Klassenlabels, der Mindestabstand der Stichproben von der Klassengrenze, ein berechneter Likelihood-Wert usw. mögliche Metriken.
Um stabilere Ergebnisse zu erhalten und alle wertvollen Daten für das Training zu nutzen, kann ein Datensatz wiederholt in mehrere Trainings- und Validierungsdatensätze aufgeteilt werden. Diese Strategie wird als Kreuzvalidierung bezeichnet.
Die Leistung kann automatisch gemessen werden, z.B. durch ein stochastisches Verfahren wie Bootstrapping, oder durch einen menschlichen Bediener beim Relevance Feedback.
Beispiele
Beispiel für eine iterative Berechnung der “Verlustfunktion”, welche die Leistung der Modelle bei der Klassifizierung kennzeichnet, für vier verschiedene Erkennungsmodelle die mit verschiedenen Teilmengen von Bildern trainiert wurden.
Querverweise
Informative Querverweise
| Mustererkennung oder maschinelles Lernen, mittels Clustering | G06V 10/762 |
| Mustererkennung oder maschinelles Lernen, mittels Klassifizierung | G06V 10/764 |
| Mustererkennung oder maschinelles Lernen, mittels Regression | G06V 10/766 |
| Mustererkennung oder maschinelles Lernen, Verarbeitung von Bildmerkmalen in Merkmalsräumen | G06V 10/77 |
| Mustererkennung oder maschinelles Lernen, Fusion | G06V 10/80 |
| Digitale Datenverarbeitung; komplexe mathematische Operationen | G06F 17/10 |