Raw static token vectors are a poor fit for MaxSim

Markewich advises against scoring raw static token vectors with MaxSim: it performed worse than standard pooling in the team’s exploration, changes the training target, and assumes contextualized vectors that static embeddings do not provide.

Logan Markewich·Veröffentlicht 26. Aug. 2026

Hinter der geäußerten Meinung

Übersetzungen dienen dem Leseverständnis; die Originalauszüge bleiben die Quellenevidence.

Exploring Static Embedding Retrieval

Originalauszug

Don't score raw static token vectors with MaxSim. It's worse than the standard pooling, the scoring method is technically changing the training target. MaxSim assumes contextualized vectors and static embeddings are not contextual.

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

Original öffnen · Absatz 45 Quellenseite anzeigen

Die Episode öffnen und zu — springen.

Die Position stammt aus dem Originaltext. Prüfen Sie Wortlaut und Zuschreibung im Kontext.