Optimierungsverfahren, die auf Probleme angewendet werden, bei denen die Zielfunktion nicht konvex ist. Das Training der meisten tiefen neuronalen Netze stellt ein nichtkonvexes Optimierungsproblem dar, was bedeutet, dass Algorithmen in lokalen Optima statt einem globalen Optimum konvergieren können.