Ein kontextuelles Wort-Embedding-Modell, das vor BERT entwickelt wurde und tiefe bidirektionale Sprachrepräsentationen erzeugt.