Erwan.B·1d agoPrefill et decode sur des GPU séparés : ce que llm-d 1.0 demande au réseauSéparer la lecture du prompt et la génération sur deux pools de GPU est devenu le schéma de référence à la KubeCon. Le gain existe, mais il…
Erwan.B·4d agoLe coût réel d’un token : des dollars, des watts et beaucoup d’attenteUne mesure publiée cette semaine sur une RTX 4090 montre qu’un token servi seul consomme 34 fois plus d’énergie qu’un token servi au milieu…
Erwan.B·5d agoTransformer les échecs d’un agent en tests : la boucle NeMo de NVIDIA, lue par un exploitantNVIDIA décrit une boucle qui part des traces d’un agent, en tire un test, corrige le harness et vérifie sur des tâches cachées. La méthode…
Erwan.B·Nov 13Louer un GPU ou acheter des tokens : le calcul que la KubeCon a remis sur la tableHéberger son modèle coûte moins cher qu’une API seulement au-delà d’un certain débit soutenu. Le calcul tient en une ligne, mais il oublie…
Erwan.B·Nov 13NVIDIA Snapshot : restaurer une réplique d’inférence au lieu de la redémarrerNVIDIA publie Snapshot, qui photographie un pod GPU déjà prêt et le restaure en quelques secondes. Les chiffres impressionnent, mais le…
Erwan.B·Nov 13WikiSkill : la mémoire d’agent qui retient aussi ce qui a échouéGoogle Research sépare les traces, le wiki et les skills d’un agent, et ne garde une modification que si elle fait mieux en validation…
Erwan.B·Nov 13NVKE et NVKR : NVIDIA ouvre le code de son Kubernetes managé pour GPUNVIDIA publie sous Apache 2.0 de quoi vendre du Kubernetes managé sur ses propres GPU. Ce que font NVKE et NVKR, ce qu’ils apportent…
Erwan.B·Nov 13Choisir un harness d’agent : ce que 28 849 essais disent vraimentHugging Face a fait tourner neuf harness autour des mêmes modèles. Cinq finissent à égalité, le hasard pèse presque autant que le choix du…
Erwan.B·Jun 28Deploying Open-Source LLMs on NVIDIA GPUs: the practical RunPod + vLLM pathRunning a large language model locally sounds simple until you hit the hardware wall.
Erwan.B·Dec 30, 2025Building a Production-Ready Remote MCP Architecture for Claude CodeHow to connect Claude Code to a remote Kubernetes cluster using Docker MCP Gateway, SSH tunneling, and intelligent agents ?