Spezialisierte Softwarekomponenten oder Systeme, die KI-Modelle unmittelbar vor oder während der Inferenzphase (Anwendung des Modells auf neue Daten) kompilieren und optimieren, um Latenzzeiten zu minimieren und den Durchsatz in Produktionsumgebungen zu maximieren.