⚠️ Prérequis :

L'environnement NVIDIA

1. Le pilote de la carte graphique

Par défaut, une installation fraîche d'Ubuntu utilise le pilote graphique Nouveau, celui-ci a l'avantage d'être libre et open-source, cependant il ne permets pas l'utilisation de CUDA, indispensable pour l’inférence de notre LLM local.

Avant d'installer quoi que ce soit avec apt, il est recommandé de mettre à jour votre système :

sudo apt update && sudo apt upgrade

Pour vérifier si le pilote NVIDIA est déjà installé, exécutez la commande suivante :

$ cat /proc/driver/nvidia/version

Si vous obtenez une sortie similaire à celle-ci :

NVRM version: NVIDIA UNIX x86_64 Kernel Module  535.309.01  Wed Mar 25 15:26:15 UTC 2026
GCC version:  gcc version 12.3.0 (Ubuntu 12.3.0-1ubuntu1~22.04.3)

Le pilote est déjà installé. Sinon, il faudra l'installer. Sous Ubuntu, c'est très simple. Commencez par afficher la liste des pilotes disponibles :

$ ubuntu-drivers devices

Exemple de sortie :

== /sys/devices/pci0000:64/0000:64:00.0/0000:65:00.0 ==
modalias : pci:v000010DEd00002231sv00001028sd0000147Ebc03sc00i00
vendor   : NVIDIA Corporation
model    : GA102GL [RTX A5000]
driver   : nvidia-driver-580-server-open - distro non-free
driver   : nvidia-driver-535-server - distro non-free
driver   : nvidia-driver-535-open - distro non-free
driver   : nvidia-driver-470-server - distro non-free
driver   : nvidia-driver-535 - distro non-free
driver   : nvidia-driver-595-server - distro non-free
driver   : nvidia-driver-595-open - distro non-free recommended
driver   : nvidia-driver-545 - distro non-free
driver   : nvidia-driver-545-open - distro non-free
driver   : nvidia-driver-595 - distro non-free
driver   : nvidia-driver-580 - distro non-free
driver   : nvidia-driver-580-server - distro non-free
driver   : nvidia-driver-595-server-open - distro non-free
driver   : nvidia-driver-535-server-open - distro non-free
driver   : nvidia-driver-580-open - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

Le pilote marqué recommended est celui qu'il faut installer. Dans mon cas il s'agit de la version 595 :

$ sudo ubuntu-drivers install nvidia:595

Une alternative consiste à utiliser la méthode automatisée :

$ sudo ubuntu-drivers autoinstall

Il est également possible d'installer le pilote depuis le site de NVIDIA, mais je préfère utiliser la version fournie par apt, car c'est plus simple pour les mises à jour.

Redémarrez ensuite votre système :

$ sudo reboot

Pour vérifier si l'installation du pilote s'est bien passée, vous pouvez lancer nvidia-smi.

2. Le kit de développement CUDA

CUDA (Compute Unified Device Architecture) est un kit de développement propriétaire créé par NVIDIA. Il permet aux développeurs d’écrire du code en C/C++ pour exploiter la puissance des processeurs graphiques (GPU) et déléguer des calculs intensifs depuis le processeur central (CPU).

Cette approche est particulièrement efficace pour les tâches hautement parallélisables, comme :

Grâce à CUDA, les applications peuvent bénéficier d’une accélération matérielle significative, réduisant ainsi les temps de calcul de plusieurs ordres de grandeur.

On va commencer par afficher la version de CUDA nécessaire pour notre carte graphique avec la commande (explication détaillée) :

nvidia-smi | grep -oP 'CUDA Version: \K[0-9.]+'

Sur ma machine j'ai la sortie :

13.2

Cela indique sur ma machine qu'il faut à minima la version 13.2 de CUDA. On peut vérifier la version disponible avec apt :

apt show nvidia-cuda-toolkit

Version: 11.5.1-1ubuntu1
Priority: extra
Section: multiverse/devel
Origin: Ubuntu
Maintainer: Ubuntu Developers <ubuntu-devel-discuss@lists.ubuntu.com>
Original-Maintainer: Debian NVIDIA Maintainers <pkg-nvidia-devel@lists.alioth.debian.org>
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Installed-Size: 126 MB
Depends: nvidia-profiler (= 11.5.114~11.5.1-1ubuntu1), nvidia-cuda-dev (= 11.5.1-1ubuntu1), nvidia-opencl-dev (= 11.5.1-1ubuntu1) | opencl-dev, g++-11 | g++-11 | clang-12 | g++-10 | clang-11 | clang-10 | g++-9 | clang-9 | g++-8 | clang-8 | clang-7 | g++-7 | clang-6.0 | clang (<< 1:13~) | g++-6, gcc-11 | gcc-11 | clang-12 | gcc-10 | clang-11 | clang-10 | gcc-9 | clang-9 | gcc-8 | clang-8 | clang-7 | gcc-7 | clang-6.0 | clang (<< 1:13~) | gcc-6, libc6 (>= 2.14), libgcc-s1 (>= 4.2), libstdc++6 (>= 4.6)
Recommends: nvidia-cuda-toolkit-doc (= 11.5.1-1ubuntu1), nvidia-cuda-gdb (= 11.5.114~11.5.1-1ubuntu1), nvidia-visual-profiler (= 11.5.114~11.5.1-1ubuntu1), nsight-compute (= 2021.3.1.4~11.5.1-1ubuntu1), nsight-systems (= 2021.3.3.2~11.5.1-1ubuntu1)
Breaks: nvidia-cuda-doc (<< 10.2.89-3)
Homepage: https://developer.nvidia.com/cuda-zone
Download-Size: 62,8 MB
APT-Sources: http://fr.archive.ubuntu.com/ubuntu jammy/multiverse amd64 Packages
Description: NVIDIA CUDA development toolkit
 The Compute Unified Device Architecture (CUDA) enables NVIDIA
 graphics processing units (GPUs) to be used for massively parallel
 general purpose computation.
 .
 This package contains the nvcc compiler and other tools needed for building
 CUDA applications.
 .
 Running CUDA applications requires a supported NVIDIA GPU and the NVIDIA
 driver kernel module.

nvidia-smi

nvidia-smi est un outil installé avec le pilote de la carte graphique, qui permet de surveiller l'activité de la carte graphique

nvidia-smi

nvidia-smi

vérif la version apt show nvidia-cuda-toolkit

llmfit

llmfit curl -fsSL https://llmfit.axjns.dev/install.sh | sh

Notes

Note 1 :

Explication détaillée de la commande :

nvidia-smi | grep -oP 'CUDA Version: \K[0-9.]+'