nafyi.

OPINIONES PÚBLICAS

Logan Markewich

Source author · LlamaIndex

1 entrevistas · 3 opiniones expresadas · 3 temas

Contenido actualizado:

Explorar conexiones ↗

Las traducciones son para facilitar la lectura; los extractos originales siguen siendo la source evidence.

Perspectivas por tema

Opiniones atribuidas, ordenadas por fecha de entrevista. Una instantánea de estas conversaciones, no una afirmación definitiva de las creencias de alguien.

static embedding performance

Ver este tema
static embedding performance

Static embeddings can be fast on CPU

Markewich reports that static embeddings take about 0.05 ms per text line on CPU, need no transformer forward pass, are WASM-friendly, and run about 100 times faster than a small dense model.

Evidencia a favor

Extracto original

Static embedding models can seem like a cheat code at first glance. Embedding a line of text is just a table lookup plus an average calculation. This translates to about 0.05 ms per text line on CPU, no transformer forward pass, it's WASM-friendly, and ~100× faster than even a small dense model.

Logan Markewich·

Exploring Static Embedding Retrieval

Este fragmento no incluye más contexto. Consulta la conversación original.

Abrir el original · Párrafo 10 (se abre en una pestaña nueva)Fuente del texto original (se abre en una pestaña nueva)

La ubicación procede del texto original; compruebe la redacción y la atribución en su contexto.

Logan Markewich
Compartir información

model distillation

Ver este tema
model distillation

Teacher quality stops mattering when the student is too small

From the team’s experiments, Markewich concludes that a better teacher does not help when a small convolutional student lacks the capacity to absorb what the teacher knows.

Evidencia a favor

Extracto original

A better teacher is not a better student. When the student is too small to absorb what the teacher knows (i.e. a small conv model), teacher quality stops mattering.

Logan Markewich·

Exploring Static Embedding Retrieval

Este fragmento no incluye más contexto. Consulta la conversación original.

Abrir el original · Párrafo 47 (se abre en una pestaña nueva)Fuente del texto original (se abre en una pestaña nueva)

La ubicación procede del texto original; compruebe la redacción y la atribución en su contexto.

Logan Markewich
Compartir información

retrieval methodology

Ver este tema
retrieval methodology

Raw static token vectors are a poor fit for MaxSim

Markewich advises against scoring raw static token vectors with MaxSim: it performed worse than standard pooling in the team’s exploration, changes the training target, and assumes contextualized vectors that static embeddings do not provide.

Evidencia a favor

Extracto original

Don't score raw static token vectors with MaxSim. It's worse than the standard pooling, the scoring method is technically changing the training target. MaxSim assumes contextualized vectors and static embeddings are not contextual.

Logan Markewich·

Exploring Static Embedding Retrieval

Este fragmento no incluye más contexto. Consulta la conversación original.

Abrir el original · Párrafo 45 (se abre en una pestaña nueva)Fuente del texto original (se abre en una pestaña nueva)

La ubicación procede del texto original; compruebe la redacción y la atribución en su contexto.

Logan Markewich
Compartir información

Declaraciones por fecha de entrevista1

Las declaraciones se ordenan por la fecha de publicación original de la entrevista. Una diferencia de redacción no demuestra un cambio de postura.