LoRA (Low-Rank Adaptation)
Eine effiziente Technik zum Fine-Tuning großer, vortrainierter KI-Modelle, insbesondere Transformer-Modelle. Statt alle Parameter des gesamten Modells anzupassen, werden bei LoRA nur kleine, zusätzliche "Adaptions"-Matrizen mit niedrigem Rang (Low-Rank) trainiert, die in bestimmte Schichten des Modells injiziert werden. Dies ermöglicht eine signifikante Reduktion des Rechenaufwands und der Speicheranforderungen für das Fine-Tuning und erlaubt die Anpassung an spezifische Stile, Objekte, Charaktere oder Aufgaben mit relativ kleinen resultierenden Modelldateien.