Ein Maß für die Konsistenz und Zuverlässigkeit von Annotationen, indem verglichen wird, wie gut mehrere menschliche Annotatoren bei der Kennzeichnung derselben Daten übereinstimmen. Wichtig für die Qualität von Trainingsdatensätzen.