nafyi.

OPINIONS EXPRIMÉES EN PUBLIC

Logan Markewich

Source author · LlamaIndex

1 entretiens · 3 opinions exprimées · 3 thèmes

Contenu mis à jour:

Explorer les liens ↗

Les traductions sont destinées à la lecture ; les extraits originaux restent la source evidence.

Points de vue par sujet

Opinions attribuées, classées par date d’entretien. Un aperçu de ces échanges, non une affirmation définitive des convictions de la personne.

static embedding performance

Voir ce sujet
static embedding performance

Static embeddings can be fast on CPU

Markewich reports that static embeddings take about 0.05 ms per text line on CPU, need no transformer forward pass, are WASM-friendly, and run about 100 times faster than a small dense model.

Éléments favorables

Extrait original

Static embedding models can seem like a cheat code at first glance. Embedding a line of text is just a table lookup plus an average calculation. This translates to about 0.05 ms per text line on CPU, no transformer forward pass, it's WASM-friendly, and ~100× faster than even a small dense model.

Logan Markewich·

Exploring Static Embedding Retrieval

Cet extrait ne contient pas de contexte supplémentaire. Consultez la conversation originale.

Ouvrir l’original · Paragraphe 10 (s’ouvre dans un nouvel onglet)Source du texte original (s’ouvre dans un nouvel onglet)

L’emplacement provient du texte original. Vérifiez la formulation et l’attribution dans leur contexte.

Logan Markewich
Partager un aperçu

model distillation

Voir ce sujet
model distillation

Teacher quality stops mattering when the student is too small

From the team’s experiments, Markewich concludes that a better teacher does not help when a small convolutional student lacks the capacity to absorb what the teacher knows.

Éléments favorables

Extrait original

A better teacher is not a better student. When the student is too small to absorb what the teacher knows (i.e. a small conv model), teacher quality stops mattering.

Logan Markewich·

Exploring Static Embedding Retrieval

Cet extrait ne contient pas de contexte supplémentaire. Consultez la conversation originale.

Ouvrir l’original · Paragraphe 47 (s’ouvre dans un nouvel onglet)Source du texte original (s’ouvre dans un nouvel onglet)

L’emplacement provient du texte original. Vérifiez la formulation et l’attribution dans leur contexte.

Logan Markewich
Partager un aperçu

retrieval methodology

Voir ce sujet
retrieval methodology

Raw static token vectors are a poor fit for MaxSim

Markewich advises against scoring raw static token vectors with MaxSim: it performed worse than standard pooling in the team’s exploration, changes the training target, and assumes contextualized vectors that static embeddings do not provide.

Éléments favorables

Extrait original

Don't score raw static token vectors with MaxSim. It's worse than the standard pooling, the scoring method is technically changing the training target. MaxSim assumes contextualized vectors and static embeddings are not contextual.

Logan Markewich·

Exploring Static Embedding Retrieval

Cet extrait ne contient pas de contexte supplémentaire. Consultez la conversation originale.

Ouvrir l’original · Paragraphe 45 (s’ouvre dans un nouvel onglet)Source du texte original (s’ouvre dans un nouvel onglet)

L’emplacement provient du texte original. Vérifiez la formulation et l’attribution dans leur contexte.

Logan Markewich
Partager un aperçu

Déclarations par date d’entretien1

Les déclarations sont classées selon la date de publication initiale de l’entretien. Des formulations différentes ne prouvent pas un changement de position.