Ollama a révolutionné l’accès aux LLM locaux par sa simplicité déconcertante. Cependant, pour ceux qui gèrent des charges de travail intensives, qui servent plusieurs utilisateurs ou qui recherchent un débit de tokens maximal, Ollama peut devenir un goulot d’étranglement.
S’il est parfait pour le “chat” interactif, Ollama n’est pas conçu pour le throughput (débit global). C’est ici qu’entrent en jeu vLLM et TGI (Text Generation Inference).
[Lire]Si vous utilisez Linux depuis un certain temps, vous connaissez forcément Arch Linux. Sa philosophie KISS (Keep It Simple, Stupid), son rolling-release et son incroyable wiki en font une distribution de choix. Pourtant, une dérivée fait énormément de bruit ces derniers temps : CachyOS.
Est-ce juste une Arch avec un installateur graphique, ou y a-t-il une réelle plus-value technique ? Spoiler : la différence est colossale.
[Lire]Pendant des décennies, la règle d’or sous Linux était simple : créez une partition swap égale à 1,5 fois votre RAM. En 2026, avec la sortie du noyau 7.0 et la démocratisation des SSD NVMe ultra-rapides, cette pratique est devenue obsolète, voire contre-productive.
[Lire]Découvrez comment redimensionner un système de fichiers TMPFS à chaud sans interrompre le service.
[Lire]Découvrez pourquoi il est souvent préférable d’utiliser la configuration built-in de Varnish plutôt que de créer des configurations complexes.
[Lire]Toutes les requêtes killées sont affichées par le script, cela vous permet de générer un log ou de vous envoyer un mail pour chaque requête killée.
[Lire]Activez et configurez la compression Gzip sur Nginx pour réduire la taille des données transférées.
[Lire]