Wie funktioniert Selbstaufmerksamkeit?
Wie funktioniert Selbstaufmerksamkeit?

Video: Wie funktioniert Selbstaufmerksamkeit?

Video: Wie funktioniert Selbstaufmerksamkeit?
Video: Was ist das Selbstkonzept? | Sozialpsychologie mit Prof. Erb 2024, November
Anonim

Laienhaft gesprochen, die selbst - Beachtung Mechanismus ermöglicht, dass die Eingaben miteinander interagieren („ selbst “) und finden Sie heraus, wen sie mehr bezahlen sollten Beachtung zu ( Beachtung “). Die Ausgänge sind Aggregate dieser Wechselwirkungen und Beachtung punktet.

Und was ist Selbstaufmerksamkeit?

Selbst - Beachtung , manchmal auch als Intra- Beachtung ist ein Beachtung Mechanismus, der verschiedene Positionen einer einzelnen Sequenz in Beziehung setzt, um eine Darstellung der Sequenz zu berechnen.

Und was ist Selbstaufmerksamkeit beim Deep Learning? Zuerst definieren wir, was „ selbst - Beachtung ist. Cheng et al., in ihrer Arbeit mit dem Titel „Long Short-Term Memory-Networks for Maschine Lesen“, definiert selbst - Beachtung als Mechanismus, verschiedene Positionen einer einzelnen Sequenz oder eines Satzes in Beziehung zu setzen, um eine lebendigere Darstellung zu erhalten.

Was ist diesbezüglich der Aufmerksamkeitsmechanismus?

Aufmerksamkeitsmechanismus ermöglicht es dem Decoder, bei jedem Schritt der Ausgabeerzeugung unterschiedliche Teile des Quellsatzes zu berücksichtigen. Anstatt die Eingabesequenz in einen einzelnen festen Kontextvektor zu codieren, lassen wir das Modell lernen, wie ein Kontextvektor für jeden Ausgabezeitschritt generiert wird.

Was ist das Aufmerksamkeitsbasierte Modell?

Beachtung - basierte Modelle gehören zu einer Klasse von Modelle allgemein als Sequenz-zu-Sequenz bezeichnet Modelle . Das Ziel dieser Modelle , wie der Name schon sagt, um eine Ausgabesequenz zu erzeugen, wenn eine Eingabesequenz im Allgemeinen unterschiedlich lang ist.

Empfohlen: