Aufmerksamkeitsmechanismen in neuronalen Netzen, die es dem Modell erlauben, seine Aufmerksamkeit nicht-sequentiell oder über größere Distanzen auf die jeweils relevantesten Teile der Eingabedaten zu lenken, anstatt sich linear durch die Sequenz zu bewegen.