KI-Lexikon

Das erste große deutschsprachige KI-Lexikon

Ein Community-Projekt von David Mirga

← Zurück zur Übersicht

LoRA (Low-Rank Adaptation)

Eine effiziente Technik zum Fine-Tuning großer, vortrainierter KI-Modelle, insbesondere Transformer-Modelle. Statt alle Parameter des gesamten Modells anzupassen, werden bei LoRA nur kleine, zusätzliche "Adaptions"-Matrizen mit niedrigem Rang (Low-Rank) trainiert, die in bestimmte Schichten des Modells injiziert werden. Dies ermöglicht eine signifikante Reduktion des Rechenaufwands und der Speicheranforderungen für das Fine-Tuning und erlaubt die Anpassung an spezifische Stile, Objekte, Charaktere oder Aufgaben mit relativ kleinen resultierenden Modelldateien.

Kategorie: L | Quelle: Das große KI-Lexikon von David Mirga