Il y a des idées tellement simples qu’elles en deviennent presque gênantes. Pourquoi personne n’y avait pensé avant ? C’est exactement la question que pose un petit outil open source sorti discrètement, et qui est en train de faire pas mal de bruit dans les cercles de développeurs et de professionnels de l’IA.
Le principe est d’une brutalité presque enfantine : avant même que vos données n’atteignent le grand modèle de langage (LLM) auquel vous soumettez vos requêtes, un outil compresse les tokens, c’est-à-dire les unités fondamentales que l’IA utilise pour lire et traiter du texte. Moins de tokens envoyés, moins de tokens facturés. Et selon les retours publiés, sans perte d’information notable.
Ce projet a été développé par un ingénieur de Netflix. L’entreprise l’a appliqué à ses propres usages et le résultat chiffré est édifiant : environ 700 000 dollars économisés en quelques mois seulement. On parle d’une économie massive, réelle, documentée, sur une infrastructure que des dizaines de milliers d’entreprises dans le monde utilisent quotidiennement.
« Un questionnement profond sur la façon dont on alimente les IA. »
Et c’est précisément là que l’affaire dépasse le simple bon plan comptable. Depuis des années, le débat autour des LLM tourne autour des modèles eux-mêmes : leur taille, leur architecture, leur entraînement. On parle de GPT-5, de Gemini Ultra, de Claude 3, dans une course permanente à la puissance brute. Mais cette approche pose une question différente et peut-être plus fondamentale : et si le vrai problème n’était pas le modèle, mais ce qu’on lui donne à manger ?
Les coûts d’inférence, c’est-à-dire le prix que paient les entreprises à chaque fois qu’elles sollicitent un LLM, explosent à mesure que les usages se généralisent. Pour les startups comme pour les grands groupes, la facture API est devenue un poste budgétaire sérieux, parfois un frein à l’adoption. Un outil qui réduit cette facture sans toucher à la qualité des réponses, c’est une promesse qui mérite d’être prise au sérieux.
Le fait que ce soit open source ajoute une dimension supplémentaire. N’importe qui peut l’auditer, le modifier, l’améliorer. C’est une réponse collective à un problème qui était jusqu’ici traité comme une fatalité : payer ce que les géants de l’IA décident de faire payer. Ce genre d’initiative rappelle que l’écosystème open source reste capable de court-circuiter les logiques commerciales dominantes, même dans un secteur aussi capitalistique que l’IA générative.
Reste à voir si les grands acteurs comme OpenAI ou Anthropic vont intégrer ce type d’optimisation côté serveur, ou si au contraire ils ont tout intérêt à ce que leurs clients continuent d’envoyer des tokens non compressés. La question, finalement, n’est pas technique. Elle est économique et politique. Et dans ce rapport de force, un outil open source développé par un ingénieur de Netflix vient de changer les règles du jeu.
En savoir plus sur Glorieux Geek
Subscribe to get the latest posts sent to your email.
