Eine breite Klasse von Optimierungsalgorithmen, die den Gradienten (die Ableitung) der Zielfunktion verwenden, um iterativ eine bessere Lösung zu finden. Gradient Descent und seine Varianten (Adam, RMSprop etc.) sind die wichtigsten Beispiele und fundamental für das Training neuronaler Netze.