Ubuntu construit un environnement Pytorch (Anaconda, Cuda, cuDNN, Pytorch, Python, Pycharm, Jupyter)

1. Configurez la source miroir et installez l'environnement nécessaire

1. Vérifiez le numéro de version d'Ubuntu : cat /etc/issue, puis ajoutez la source miroir correspondante en fonction du numéro de version
2. Sauvegardez la source miroir : sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
3. Recherchez et copiez la source miroir Alibaba correspondant au numéro de version sur le site officiel d'Alibaba Cloud source miroir :

Ou trouvez et copiez la source de l'image Tsinghua correspondant au numéro de version sur le site officiel de la source de l'image Tsinghua :

4. Modifiez le fichier de configuration de la source logicielle : sudo vi /etc/apt/sources.list, remplacez le contenu du fichier par la source miroir Ali ou la source miroir Tsinghua
5. Actualisez la source logicielle : sudo apt-get update
6. Installez la bibliothèque d'outils pour compiler et créer des logiciels :sudo apt-get install build-essential

2. Téléchargement, installation, désinstallation et configuration de l'environnement Anaconda

1. Télécharger Anaconda

Entrez sur le site officiel d'Anaconda , téléchargez la version linux d'anaconda (fichier se terminant par .sh)

2. Installez Anaconda

1. Copiez le fichier dans Ubuntu et entrez la commande à l'emplacement correspondant sh 文件名.shà installer (il est recommandé d'installer sous l'utilisateur root)

2. Maintenez la touche ENTER enfoncée jusqu'à l'apparition de la page de sélection oui et non et saisissez oui au clavier

3. Sélectionnez l'emplacement d'installation et entrez l'emplacement que vous souhaitez installer (Remarque : il est préférable d'installer anaconda dans un répertoire auquel les utilisateurs ordinaires peuvent accéder, comme /usr/local, /opt, /home, sinon les utilisateurs ordinaires ne peuvent pas pouvoir l'utiliser normalement)

Si vous avez seulement besoin d'utiliser anaconda sous le compte root, appuyez simplement sur ENTER pour sélectionner l'emplacement par défaut. Je l'ai installé sous le chemin par défaut /root/anaconda3

4. Initialisez l'environnement conda : saisissez yes sur le clavier pour configurer automatiquement l'environnement ; saisissez no sur le clavier pour personnaliser l'environnement de configuration ultérieurement.

3.Configuration de l'environnement Anaconda

1. Trouvez l'emplacement d'installation d'Anaconda. Il y aura une invite pour l'installation par défaut, qui est généralement home/username/anaconda3. Je l'ai installé sous /root/anaconda3 cette fois. 2. Entrez et modifiez les variables d'environnement et

ajoutez vi ~/.bashrcle contenu suivant :

export PATH="/自己对应的路径名/anaconda3/bin:$PATH"

Écrivez votre nom de chemin correspondant ici, le mien est export PATH="/root/anaconda3/bin:$PATH"

3. Activez le contenu modifié : source ~/.bashrc
4. Testez si la configuration est réussie : input conda, s'il n'affiche pas not fond, cela signifie que l'installation et la configuration d'anaconda est réussie

4. Autorisez les utilisateurs ordinaires/super utilisateurs à utiliser Anaconda

Qu'il soit installé sous l'utilisateur root ou un utilisateur ordinaire, il est préférable d'installer anaconda dans un répertoire auquel les utilisateurs ordinaires peuvent accéder, comme /usr/local, /opt, /home, sinon les utilisateurs ordinaires ne peuvent pas utiliser anaconda.
(1) L'anaconda installé sous l'utilisateur root souhaite donner aux utilisateurs ordinaires l'autorisation d'utiliser anaconda.
Par exemple, l'emplacement d'installation est /opt/anaconda3, exécutez directement sous l'utilisateur ordinaire : /opt/anaconda3/bin/conda init bash, puis exécutez conda env listle test

(2) Anaconda installé sous l'utilisateur ordinaire , souhaitez donner au super utilisateur (root) la permission d'utiliser anaconda
Par exemple, l'emplacement d'installation est /home/xxx/anaconda3, exécutez directement sous l'utilisateur root : /home/xxx/anaconda3/bin/conda init bash, puis exécutez conda env listle test

5. Désinstaller Anaconda

Si vous installez accidentellement anaconda dans un répertoire inaccessible aux utilisateurs ordinaires, tel que /root, /home/root, vous pouvez désinstaller anaconda et le réinstaller.
(1) Supprimez le répertoire d'installation : rm -rf /root/anaconda3
(2) Modifiez le fichier de la variable d'environnement vi ~/.bashrc, commentez ou supprimez le chemin d'anaconda3
(3) Faites en sorte que la variable d'environnement modifiée prenne effet immédiatement :source ~/.bashrc

3. Installation du pilote de la carte graphique, Cuda, cuDNN (en option pour la version GPU)

Si l'hôte dispose d'une carte graphique, vous pouvez installer Cuda pour accélérer la formation du modèle avec GPU

1. Installez le pilote correspondant au matériel de la carte graphique

Vous pouvez vous référer à plusieurs façons d'installer le pilote de la carte graphique sur la machine physique Ubuntu pour installer le pilote de la carte graphique
Input nvidia-smi, vérifiez le numéro de version cuda dont vous avez besoin, le mien est 12.1

2. Téléchargez cuda correspondant à la version du pilote de la carte graphique

Ouvrez le site officiel de nvidia , cliquez sur le lien de version correspondant pour accéder à l'interface de téléchargement (le mien est 12.1, vous pouvez choisir n'importe quelle version de 12.1),


copiez la commande générée ci-dessus et exécutez la première ligne de commande pour télécharger cuda :

wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

installation 3.cuda

Une fois le téléchargement terminé, exécutez chmod 777 【下载的sh文件】l'autorisation d'exécution, puis exécutez la deuxième ligne de commande pour installer cuda :

sudo sh cuda_12.1.0_530.30.02_linux.run

(1) Rencontrez l'interface suivante, sélectionnez continuer pour continuer

(2) Rencontrez l'interface suivante, entrez accepter

(3) Rencontrez l'interface suivante, appuyez sur Entrée pour décocher le pilote (le pilote de la carte graphique a déjà été installé), cliquez sur installer pour installer d'autres composants

Une fois l'installation terminée, le chemin suivant s'affichera :

En même temps, le système générera automatiquement un lien /cuda pointant vers le numéro de version /cuda dans le répertoire d'installation.

4.configuration des variables d'environnement cuda

4.1 Entrez sudo vi ~/.bashrcla commande pour modifier la variable d'environnement.
Selon le nom du chemin de votre propre anaconda3, ajoutez les quatre lignes suivantes à la fin du fichier :

export PATH="/anaconda3的路径名/anaconda3/bin:$PATH"
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME

4.2 Entrez source ~/.bashrcla commande pour activer le contenu que vous venez de modifier
4.3 Entrez les commandes suivantes afin de tester si cuda est installé avec succès

nvcc -V
cd /usr/local/cuda/extras/demo_suite/
./bandwidthTest

Résultat = PASS réussi

désinstallation 5.cuda

5.1 Entrez dans le répertoire d'installation de cuda, recherchez le fichier lié à la désinstallation et exécutez la commande de désinstallation : sudo /usr/local/cuda-12.1/bin/cuda-uninstaller

5.2 Vérifiez tous les composants de la version de cuda à désinstaller

5.3 Une fois la désinstallation réussie, supprimez les fichiers pertinents

5.4 Supprimez les variables d'environnement pertinentes
Entrée sudo vi ~/.bashrcpour supprimer le bas lié à cuda, exécutez source ~/.bashrcla configuration de la variable d'environnement de réactivation

6. Télécharger cuDNN correspondant à la version cuda

Ouvrez le site officiel de nvidia , cliquez sur le lien de version correspondant pour accéder à l'interface de téléchargement (ma version de cuda est 12.1, vous pouvez choisir n'importe quelle version de cuDNN 12.x, il est recommandé d' utiliser le package tar ), le téléchargement doit s'enregistrer et se connecter dans le compte nvidia (par vous-même Baidu)


Copiez le fichier téléchargé sur le système Ubuntu et exécutez la commande de décompression suivante :

unxz cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xz
tar -vxf cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar

7. Installation de cuDNN

Entrez dans le répertoire décompressé, ouvrez le terminal et saisissez la commande suivante :

sudo cp include/cudnn*.h /usr/local/cuda/include/
sudo cp lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

Une fois l'exécution terminée, entrez la commande suivante pour vérifier que cuDNN est installé avec succès :

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

Le message d'invite signifie : le mot-clé ​constexpr​ ne peut pas être utilisé dans ce fichier, car ce fichier est limité au langage C.

8. Désinstallation de cuDNN

Pour cudnn installé via le package tar, supprimez les fichiers liés à cudnn copiés dans le répertoire d'installation de cuda avec la commande suivante :

sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*

4. Créer un environnement virtuel Anaconda

1. Commandes courantes d'Anaconda : afficher, créer, supprimer l'environnement

(1) Afficher la version installée d'anaconda : conda --version
(2) Afficher l'environnement installé (celui avec un astérisque indique l'environnement actuellement utilisé) : conda env list
(3) Activer l'environnement virtuel correspondant (entrer dans l'environnement) : source activate envone(环境名)
(4) Activer le environnement virtuel par défaut Environnement (environnement de base) : source activate
(5) Quitter l'environnement conda actuel : conda deactivate
(6) Supprimer l'environnement : conda remove -n envone(环境名) –all
(7) Supprimer l'environnement conda : conda uninstall -n envone(环境名) --all
(8) Installer les packages requis dans l'environnement : pip install xxx
(9) Vérifier les paquets:pip list

2. Créer un espace ai pour créer un cadre d'apprentissage en profondeur pytorch

Après avoir utilisé anaconda pour installer l'environnement, l'environnement local par défaut devient l'environnement de base.
(1) Créez un espace nommé ai : conda create -n ai
(2) Entrez dans l'espace ai (environnement virtuel) :conda activate ai

5. Construire l'environnement Pytorch

1. Entrez dans l'espace ai créé via la commande source activate ai
2. Entrez sur le site officiel de pytorch pour télécharger la version correspondante de pytorch

• Sélectionnez la version pytorche
• Sélectionnez le système d'exploitation correspondant
• Choisissez l'installation à utiliser, vous pouvez utiliser pip pour installer dans conda
• Sélectionnez le langage de programmation comme python
• Sélectionnez la version de cuda : Ma version est 12.1. Le site officiel de pytorch ne prend actuellement en charge que 11.8 Cuda, mais la communauté a clairement indiqué qu'il est compatible avec les versions supérieures de Cuda.

3. Exécutez la commande générée ci-dessus dans l'espace ai

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

AVERTISSEMENT : L'exécution de pip en tant qu'utilisateur "root" peut entraîner
des autorisations rompues et un comportement conflictuel avec le gestionnaire de packages système.
Il est recommandé d'utiliser un environnement virtuel à la place :
https://pip.pypa.io/warnings/venv AVERTISSEMENT : une erreur s'est produite lors de la vérification
de la dernière version de pip.

Le message d'avertissement ci-dessus signifie que l'exécution de pip en tant qu'utilisateur "root" peut entraîner des autorisations rompues et des conflits avec le comportement du gestionnaire de packages système.

6. Comment installer les bibliothèques dépendantes associées

1. Utilisez la commande du site Web officiel pour installer la bibliothèque dépendante requise

(1) Entrez sur le site officiel d'anaconda pour rechercher le nom de la bibliothèque à installer (pas besoin de s'inscrire et de se connecter)

(2) Sélectionnez la version requise

(3) Copiez la commande d'installation sur le site officiel

(4) Exécutez et source activate aientrez dans l'environnement virtuel ai et exécutez la commande d'installation copiée ci-dessus conda install -c pytorch-lts pytorch

(5) Connectez-vous à python pour exécuter import torchla vérification si elle a réussi

2. Configuration d'accélération miroir de conda et pip

Modifier la source conda et la source pip vers la source domestique pour améliorer la vitesse de téléchargement et d'installation
2.1 Modifier la source conda
Modifier le fichier ~/.condarc : sudo vi ~/.condarc, modifier le contenu du fichier comme suit :

channels:
  - defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

Si la source conda de Tsinghua ne peut pas être utilisée, vous pouvez utiliser la source soumise à la place :

channels:
- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/main/
- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true

2.2 Modifier la source du pip
Référence : Définir la source du miroir pip pour Linux et Windows, le paramètre d'accélération de téléchargement de l'environnement le plus pratique - [comprendre dans un article]
entrée pour conda deactivatefermer l'environnement virtuel, revenir à l'
outil pip de mise à jour de l'interface du terminal : pip install --upgrade pip
configurer la source pip :pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

3. Installez des bibliothèques de dépendances communes d'apprentissage en profondeur

Exécutez la commande conda suivante pour rechercher, télécharger et installer automatiquement la version applicable et les dépendances associées des bibliothèques dépendantes associées.
(1) Installez la bibliothèque opencv (cette bibliothèque est utilisée pour le traitement d'image) commande : conda install opencv
(2) Installez la bibliothèque torchvision (cette bibliothèque est utilisée pour télécharger et former des modèles de pré-formation avancés) commande : ( conda install torchvision
3) Installez la bibliothèque torche ( cette bibliothèque est utilisée pour l'apprentissage en profondeur Construire, entraîner et déployer le modèle de réseau de neurones dans la tâche) Commande : conda install torch
(4) Installer la bibliothèque cv2 (cette bibliothèque fournit de nombreuses fonctions et outils en vision par ordinateur et en traitement d'image) : (5 conda install -c necla-ml opencv-python
) Installer le bibliothèque tensorboardx (cette bibliothèque fournit une visualisation et des outils pour analyser le processus de formation et les résultats des réseaux de neurones):conda install -c conda-forge tensorboardx

4. Problèmes courants lors de l'installation de bibliothèques dépendantes

Question 1 : L'erreur "PackagesNotFoundError" s'affiche lors de l'installation des bibliothèques dépendantes

Si vous rencontrez une erreur "PackagesNotFoundError" lors de l'utilisation de Conda ou d'un gestionnaire de packages similaire, cela peut indiquer qu'un package ou une version de package souhaité ne se trouve pas dans le canal source du logiciel actuellement configuré. Vous pouvez vous référer à https://blog.csdn.net/weixin_45552562/article/details/109668589 pour résoudre ce problème. Exécutez la commande suivante pour mettre à jour les informations sur la source du logiciel : conda update --all


Réexécutez conda install torch, si l'erreur est toujours signalée, vous pouvez suivre l'invite d'erreur et vous référer à 6.1 pour trouver la commande correspondante sur le site officiel à installer.

7. Description de l'environnement Python et installation de l'outil Pycharm, Jupyter

1.Les instructions de l'environnement Python peuvent faire référence au système python sous Ubuntu et python sous anaconda

2. L'installation de l'outil Pycharm peut se référer à Ubuntu 16.04 pour installer PyCharm
(1) Téléchargez le package d'installation sur le site officiel de PyCharm

(la version communautaire est gratuite) (2) Exécutez tar -zxvf pycharm-community-2022.3.2.tar.gzla commande pour décompresser le package d'installation

(3) Entrez le répertoire bin du logiciel, exécutez la commande sh ./pycharm.shpour ouvrir Pycharm

(4) Problème d'autorisation d'utilisateur ordinaire
Si le message d'erreur concerne l'autorisation d'utilisateur ordinaire, vous pouvez essayer de changer le propriétaire du fichier concerné

sudo chown ownername:groupname /path/to/directory

Dans la commande ci-dessus, "ownername" est le nom d'utilisateur du nouveau propriétaire spécifié, "groupname" est le nom de groupe du nouveau groupe propriétaire spécifié et "/path/to/directory" est le chemin d'accès au répertoire que vous souhaitez modifier.

3. Anaconda a son propre outil Jupyter, qui peut être ouvert avec la commande suivante : jupyter notebook, vous pouvez vous référer au tutoriel jupyter