Ein Konzept aus der Informationstheorie, das ein Maß für den durchschnittlichen Informationsgehalt, die Unsicherheit oder die Zufälligkeit einer Datenquelle oder Wahrscheinlichkeitsverteilung darstellt. Wird in KI z.B. beim Aufbau von Entscheidungsbäumen (Information Gain) oder zur Quantifizierung von Modellunsicherheit verwendet.