Frage Hat Word2Vec eine versteckte Ebene?


Wenn ich eine der Arbeiten von Tomas Mikolov lese: http://arxiv.org/pdf/1301.3781.pdf

Ich habe ein Problem im Abschnitt "Continuous Bag-of-Words":

Die erste vorgeschlagene Architektur ist ähnlich zu der Feedforward-NNLM, wo die nichtlineare versteckte Schicht entfernt wird und die Projektionsschicht für alle Wörter (nicht nur die Projektionsmatrix) geteilt wird; Somit werden alle Wörter in die gleiche Position projiziert (ihre Vektoren werden gemittelt).

Ich finde einige Leute erwähnen, dass es eine versteckte Schicht in Word2Vec-Modell gibt, aber nach meinem Verständnis gibt es nur eine Projektionsschicht in diesem Modell. Funktioniert diese Projektionsschicht genauso wie die versteckte Ebene?

Die andere Frage ist, wie Eingabedaten in die Projektionsschicht projiziert werden sollen.

"Die Projektionsschicht wird für alle Wörter (nicht nur die Projektionsmatrix) geteilt", was bedeutet das?


8
2017-10-27 16:57


Ursprung


Antworten:


Von dem Original Papier, Abschnitt 3.1, es ist klar, dass es keine versteckte Schicht gibt:

"Die erste vorgeschlagene Architektur ähnelt der Feed-Forward-NNLM   wo die nichtlineare versteckte Schicht entfernt wird und die Projektionsschicht für alle Wörter geteilt wird ".

In Bezug auf Ihre zweite Frage (was bedeutet Teilen der Projektionsschicht) bedeutet dies, dass Sie nur einen einzigen Vektor betrachten, der der Schwerpunkt der Vektoren aller Wörter im Kontext ist. Also, anstatt zu haben n-1 Wortvektoren als Eingabe betrachten Sie nur einen Vektor. Deshalb heißt es Continuous Tasche mit Worten (weil die Wortreihenfolge im Kontext der Größe verloren geht n-1).


2
2017-11-18 17:04