Amodei compare la mise à l’échelle des modèles à une réaction chimique nécessitant trois ingrédients — des réseaux plus vastes, des durées d’entraînement plus longues et davantage de données — qui doivent être augmentés linéairement ensemble. La mise à l’échelle d’un seul ingrédient fait stagner le processus, car les autres « réactifs » viennent à manquer.
Éléments favorables
Extrait original
almost like a chemical reaction, you have three ingredients in the chemical reaction and you need to linearly scale up the three ingredients. If you scale up one, not the others, you run out of the other reagents and the reaction stops.
Traduction · Pas la formulation originale
presque comme une réaction chimique : vous avez trois ingrédients dans cette réaction, et vous devez augmenter linéairement les trois ingrédients. Si vous n’augmentez qu’un seul d’entre eux, sans toucher aux autres, vous épuisez les autres réactifs et la réaction s’arrête.
Contraintes liées à la qualité des données provenant d’internet
Amodei reconnaît que l’épuisement des données internet de haute qualité constitue une limite possible à la mise à l’échelle. Bien qu’il existe des milliers de billions de mots en ligne, une grande partie est redondante, constituée de contenus bas de gamme destinés au référencement (SEO), ou potentiellement générée à l’avenir par des systèmes d’IA, ce qui restreint la quantité de matériel utile pour l’entraînement.
Éléments favorables
Extrait original
we simply run out of data. There’s only so much data on the internet, and there’s issues with the quality of the data. You can get hundreds of trillions of words on the internet, but a lot of it is repetitive or it’s search engine optimization drivel
Traduction · Pas la formulation originale
nous épuisons tout simplement les données. Il n’y a qu’une quantité finie de données sur internet, et la qualité de ces données pose problème. Vous pouvez obtenir des centaines de milliers de billions de mots sur internet, mais une grande partie est redondante ou constituée de propos creux destinés au référencement.
Les modèles actuels d’utilisation informatique exigent des limites et des garde-fous
Le modèle actuel d’utilisation informatique commet encore des erreurs et des clics accidentels ; les utilisateurs ne peuvent donc pas le laisser fonctionner sans surveillance pendant de longues périodes. Anthropic l’a d’abord publié sous forme d’API plutôt que de confier aux consommateurs un contrôle direct sur l’ordinateur, soulignant ainsi la nécessité de fixer des limites et des garde-fous à mesure que les capacités progressent.
Éléments favorables
Extrait original
It makes mistakes, it misclicks. We were careful to warn people, “Hey, you can’t just leave this thing to run on your computer for minutes and minutes. You got to give this thing boundaries and guardrails.” And I think that’s one of the reasons we released it first in an API form
Traduction · Pas la formulation originale
Il commet des erreurs, il effectue des clics accidentels. Nous avons pris soin d’avertir les utilisateurs : « Attention, vous ne pouvez pas laisser ce système tourner seul sur votre ordinateur pendant des minutes et des minutes. Vous devez lui fixer des limites et des garde-fous. » Et je pense que c’est l’une des raisons pour lesquelles nous l’avons d’abord publié sous forme d’API.
Une régulation mal ciblée de l’IA risque de susciter une réaction contre la sécurité
Si la régulation de l’IA est mal ciblée et crée des contraintes superflues, les praticiens pourraient conclure, après avoir perdu du temps sur la conformité, que les préoccupations liées à la sécurité sont exagérées. Une régulation mal conçue pourrait engendrer un consensus durable contre de futures mesures de responsabilisation, rendant indispensable un ciblage précis.
Éléments favorables
Extrait original
if we get something in place that’s poorly targeted, that wastes a bunch of people’s time, what’s going to happen is people are going to say, “See, these safety risks, this is nonsense. I just had to hire 10 lawyers to fill out all these forms.
Traduction · Pas la formulation originale
si nous mettons en place une régulation mal ciblée, qui fait perdre beaucoup de temps aux gens, ce qui se produira, c’est que les gens diront : « Voyez, ces risques liés à la sécurité, c’est du vent. J’ai juste dû embaucher dix avocats pour remplir tous ces formulaires. »
L’extrapolation des capacités suggère une arrivée vers 2026–2027
Une extrapolation informelle des progrès récents des capacités de l’IA — passant d’un niveau scolaire à un niveau universitaire puis à un niveau de doctorat — suggère qu’une IA puissante pourrait apparaître d’ici 2026 ou 2027. Toutefois, cette estimation demeure incertaine en raison de possibles obstacles tels que la pénurie de données, les limites de mise à l’échelle des grappes informatiques ou des perturbations géopolitiques.
Éléments favorables
Extrait original
if you just eyeball the rate at which these capabilities are increasing, it does make you think that we’ll get there by 2026 or 2027. Again, lots of things could derail it. We could run out of data. We might not be able to scale clusters as much as we want.
Traduction · Pas la formulation originale
si vous observez simplement à l’œil nu le rythme auquel ces capacités progressent, cela vous amène à penser que nous y parviendrons d’ici 2026 ou 2027. Encore une fois, de nombreux facteurs pourraient faire dérailler ce scénario : nous pourrions épuiser les données, nous pourrions ne pas être capables de mettre à l’échelle les grappes aussi massivement que souhaité.
nafyi.
