nafyi.

ÖFFENTLICHE AUSGEDRÜCKTE MEINUNGEN

Logan Markewich

Source author · LlamaIndex

1 Interviews · 3 geäußerte Meinungen · 3 Themen

Inhalt aktualisiert:

Zusammenhänge erkunden ↗

Übersetzungen dienen dem Leseverständnis; die Originalauszüge bleiben die Quellenevidence.

Standpunkte nach Thema

Zugeordnete Standpunkte, geordnet nach dem Interviewdatum. Ein Momentaufnahme dieser Gespräche, keine endgültige Aussage über die Überzeugungen einer Person.

static embedding performance

Thema ansehen
static embedding performance

Static embeddings can be fast on CPU

Markewich reports that static embeddings take about 0.05 ms per text line on CPU, need no transformer forward pass, are WASM-friendly, and run about 100 times faster than a small dense model.

Stützende Belege

Originalauszug

Static embedding models can seem like a cheat code at first glance. Embedding a line of text is just a table lookup plus an average calculation. This translates to about 0.05 ms per text line on CPU, no transformer forward pass, it's WASM-friendly, and ~100× faster than even a small dense model.

Logan Markewich·

Exploring Static Embedding Retrieval

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

Original öffnen · Absatz 10 (wird in einem neuen Tab geöffnet)Originaltextquelle (wird in einem neuen Tab geöffnet)

Die Position stammt aus dem Originaltext. Prüfen Sie Wortlaut und Zuschreibung im Kontext.

Logan Markewich
Erkenntnisse teilen

model distillation

Thema ansehen
model distillation

Teacher quality stops mattering when the student is too small

From the team’s experiments, Markewich concludes that a better teacher does not help when a small convolutional student lacks the capacity to absorb what the teacher knows.

Stützende Belege

Originalauszug

A better teacher is not a better student. When the student is too small to absorb what the teacher knows (i.e. a small conv model), teacher quality stops mattering.

Logan Markewich·

Exploring Static Embedding Retrieval

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

Original öffnen · Absatz 47 (wird in einem neuen Tab geöffnet)Originaltextquelle (wird in einem neuen Tab geöffnet)

Die Position stammt aus dem Originaltext. Prüfen Sie Wortlaut und Zuschreibung im Kontext.

Logan Markewich
Erkenntnisse teilen

retrieval methodology

Thema ansehen
retrieval methodology

Raw static token vectors are a poor fit for MaxSim

Markewich advises against scoring raw static token vectors with MaxSim: it performed worse than standard pooling in the team’s exploration, changes the training target, and assumes contextualized vectors that static embeddings do not provide.

Stützende Belege

Originalauszug

Don't score raw static token vectors with MaxSim. It's worse than the standard pooling, the scoring method is technically changing the training target. MaxSim assumes contextualized vectors and static embeddings are not contextual.

Logan Markewich·

Exploring Static Embedding Retrieval

Dieser Auszug enthält keinen weiteren Kontext. Lesen Sie das Originalgespräch.

Original öffnen · Absatz 45 (wird in einem neuen Tab geöffnet)Originaltextquelle (wird in einem neuen Tab geöffnet)

Die Position stammt aus dem Originaltext. Prüfen Sie Wortlaut und Zuschreibung im Kontext.

Logan Markewich
Erkenntnisse teilen

Aussagen nach Interviewdatum1

Die Aussagen sind nach dem ursprünglichen Veröffentlichungsdatum des Interviews geordnet. Unterschiedliche Formulierungen belegen keinen Positionswechsel.