|
|
|
@@ -1,16 +1,15 @@
|
|
|
|
|
\section{Vergleich}
|
|
|
|
|
\label{sec:vergleich}
|
|
|
|
|
|
|
|
|
|
\subsection{Metriken}
|
|
|
|
|
\label{subsec:metriken}
|
|
|
|
|
|
|
|
|
|
Um die erkannten Ergebnisse unter Verwendung der verschiedenen Pre- und Postprocessing Schritte mittels eines einheitlichen Systems vergleichen zu können, wird auf die in der optischen Texterkennung gängigen Metriken "Character Error Rate" (CER) und "Word Error Rate" (WER) zurückgegriffen.
|
|
|
|
|
|
|
|
|
|
Sowohl die CER als auch die WER sind beliebte Vergleichswerte, die ihren Ursprung in der computergestützten Sprachverarbeitung \bzw automatischen Spracherkennung (ASR) haben. Da OCR und ASR beide darauf abzielen, maschinenlesbaren Text aus nicht-strukturierten Daten zu extrahieren, sind die Prinzipien dieser Metriken auch auf die OCR anwendbar.\subsection{Word Error Rate}
|
|
|
|
|
Sowohl die CER als auch die WER sind beliebte Vergleichswerte, die ihren Ursprung in der computergestützten Sprachverarbeitung \bzw automatischen Spracherkennung (ASR) haben. Da OCR und ASR beide darauf abzielen, maschinenlesbaren Text aus nicht-strukturierten Daten zu extrahieren, sind die Prinzipien dieser Metriken auch auf die OCR anwendbar.
|
|
|
|
|
|
|
|
|
|
\subsubsection{Word Error Rate}
|
|
|
|
|
|
|
|
|
|
Die Word Error Rate (WER) beschreibt den prozentualen Anteil der falsch erkannten oder fehlenden Wörter eines Textes im Vergleich zu einer Referenz, welche im Falle der folgenden Vergleiche immer alle sichtbaren Texte im Bild repräsentiert. Je niedriger die WER, desto genauer ist der OCR-Vorgang. Um die WER zu berechnen, bildet man die Summe aller notwendigen Ersetzungen, Entfernungen und Einfügungen, um aus dem erkannten Text den Referenztext bilden zu können und teilt sie durch die Anzahl an Wörtern im Referenztext.
|
|
|
|
|
|
|
|
|
|
\subsubsection{Berechnung}
|
|
|
|
|
\subsubsubsection{Berechnung}
|
|
|
|
|
|
|
|
|
|
Die mathematische Formel für die Word Error Rate lautet somit wie folgt:
|
|
|
|
|
\begin{center}
|
|
|
|
@@ -27,17 +26,17 @@ wobei die einzelnen Komponenten folgende Größen darstellen:
|
|
|
|
|
\item \(N\) beschreibt die Gesamtanzahl der Wörter in der Referenz
|
|
|
|
|
\end{itemize}
|
|
|
|
|
|
|
|
|
|
\subsubsection{Vorteile und Nachteile}
|
|
|
|
|
\subsubsubsection{Vorteile und Nachteile}
|
|
|
|
|
|
|
|
|
|
Die WER spiegelt ohne großen Rechenaufwand direkt wieder, wie stark die erkannten Texte der Referenz gleichen. Hierbei werden fehlerhafte Einsetzungen, Löschungen und falsch erkannte Wörter \bzw Teilwörter gleichermaßen gewichtet. Es ist jedoch nicht möglich, die korrekte Reihenfolge der erkannten Wörter darzustellen oder bestimmte wichtige Stellen im Text höher zu gewichten als andere. Auch werden fehlerhaft erkannte Wörter, auch wenn nur ein einzelner Buchstabe falsch ist, als vollwertige Ersetzung wahrgenommen, wodurch die WER selbst bei bis auf wenige Zeichen gut erkannte Texte stark beeinflusst werden kann.
|
|
|
|
|
Die WER spiegelt ohne großen Rechenaufwand direkt wider, wie stark die erkannten Texte der Referenz gleichen. Hierbei werden fehlerhafte Einsetzungen, Löschungen und falsch erkannte Wörter \bzw Teilwörter gleichermaßen gewichtet. Es ist jedoch nicht möglich, die korrekte Reihenfolge der erkannten Wörter darzustellen oder bestimmte wichtige Stellen im Text höher zu gewichten als andere. Auch werden fehlerhaft erkannte Wörter, auch wenn nur ein einzelner Buchstabe falsch ist, als vollwertige Ersetzung wahrgenommen, wodurch die WER selbst bei bis auf wenige Zeichen gut erkannte Texte stark beeinflusst werden kann.
|
|
|
|
|
|
|
|
|
|
Um also ein umfassendes Bild von der Genauigkeit des Texterkennungssystems zu erhalten, ist es sinnvoll, die Ergebnisse nicht nur anhand der WER, sondern auch noch mindestens anhand einer weiteren Fehlermetrik, wie beispielsweise der CER, zu vergleichen.
|
|
|
|
|
|
|
|
|
|
\subsection{Character Error Rate}
|
|
|
|
|
\subsubsection{Character Error Rate}
|
|
|
|
|
|
|
|
|
|
Die Character Error Rate (CER) beschreibt die Anzahl der falsch erkannten oder fehlenden Zeichen im Vergleich eines Referenzwortes. Je niedriger die CER, desto genauer ist der OCR-Vorgang. Um die CER zu berechnen, bildet man die Summe aller notwendigen Ersetzungen, Entfernungen und Einfügungen, um aus dem erkannten Wort die Referenz bilden zu können und teilt sie durch die Anzahl an Zeichen im Referenzwort.
|
|
|
|
|
Die Character Error Rate (CER) beschreibt die Anzeahl der falsch erkannten oder fehlenden Zeichen im Vergleich zu einem Referenzwort. Je niedriger die CER, desto genauer ist der OCR-Vorgang. Um die CER zu berechnen, bildet man die Summe aller notwendigen Ersetzungen, Entfernungen und Einfügungen, um aus dem erkannten Wort die Referenz bilden zu können und teilt sie durch die Anzahl an Zeichen im Referenzwort.
|
|
|
|
|
|
|
|
|
|
\subsubsection{Berechnung}
|
|
|
|
|
\subsubsubsection{Berechnung}
|
|
|
|
|
|
|
|
|
|
Die mathematische Formel für die Word Error Rate lautet somit wie folgt:
|
|
|
|
|
\begin{center}
|
|
|
|
@@ -54,15 +53,8 @@ wobei die einzelnen Komponenten folgende Größen darstellen:
|
|
|
|
|
\item \(N\) beschreibt die Gesamtanzahl der Wörter in der Referenz
|
|
|
|
|
\end{itemize}
|
|
|
|
|
|
|
|
|
|
\subsubsection{Vorteile und Nachteile}
|
|
|
|
|
\subsubsubsection{Vorteile und Nachteile}
|
|
|
|
|
|
|
|
|
|
Die CER fasst in einem Wert zusammen, wie viele Änderungen auf Zeichenebene notwendig sind, um aus dem erkannten Wort das Referenzwort zu bilden. Es ist dabei wie bei der WER nicht relevant, in welcher Reihenfolge diese Zeichen auftreten. Ebenso gibt es keine gesonderte Gewichtung für Ersetzungen, Löschungen oder Einfügungen, wodurch besonders bei kurzen Wörtern auch kleinere Abweichungen bereits zu einer hohen CER führen können.
|
|
|
|
|
|
|
|
|
|
Durch den detaillierten Vergleich der einzelnen Wörter auf Zeichenebene stellt die CER jedenfalls ein ausreichend gutes Komplement zur WER dar, um in den folgenden Vergleichen genutzt werden zu können.
|
|
|
|
|
|
|
|
|
|
\subsection{Testaufbau}
|
|
|
|
|
\label{subsec:testaufbau}
|
|
|
|
|
|
|
|
|
|
Für einen objektiven Vergleich zwischen den unterschiedlichen Vorgehensweisen und Algorithmen wird eine Grundabfolge der jeweiligen Schritte in einer "Processing-Pipeline" definiert. Anhand einer durch den Menschen verschlagworteten Vergleichsmenge können diese Pipelines nun anhand der in \autoref{sec:metriken} beschriebenen Fehlermetriken miteinander verglichen werden.
|
|
|
|
|
|
|
|
|
|
% TODO
|
|
|
|
|
Durch den detaillierten Vergleich der einzelnen Wörter auf Zeichenebene stellt die CER jedenfalls ein ausreichend gutes Komplement zur WER dar, um in den folgenden Vergleichen genutzt werden zu können.
|
Simon