nafyi.
Thèmes / model distillation

Point de vue attribué · Pas une citation directe

Teacher quality stops mattering when the student is too small

From the team’s experiments, Markewich concludes that a better teacher does not help when a small convolutional student lacks the capacity to absorb what the teacher knows.

Logan Markewich·Publié

Derrière ce point de vue

Les traductions sont destinées à la lecture ; les extraits originaux restent la source evidence.

Exploring Static Embedding Retrieval

Extrait original

A better teacher is not a better student. When the student is too small to absorb what the teacher knows (i.e. a small conv model), teacher quality stops mattering.

Cet extrait ne contient pas de contexte supplémentaire. Consultez la conversation originale.

Ouvrir l’original · Paragraphe 47 (s’ouvre dans un nouvel onglet)Voir la page source

Ouvrir l’épisode et rechercher à —.

L’emplacement provient du texte original. Vérifiez la formulation et l’attribution dans leur contexte.