Annuaire d'articles
Éliminez les mosaïques et transformez-vous en portraits haute définition en quelques secondes, et transformez les photos floues en photos claires en quelques secondes.
La technologie de l’IA devient de plus en plus puissante.
Mais la technologie actuelle de l’IA peut-elle réellement éliminer les mosaïques et restaurer les photos à 100 % ?
En fait, l'algorithme d'élimination de mosaïque PULSE a été publié il y a 2 ans.
L'algorithme est utilisé pour déterminer le lieu de codage et nous aider à restaurer les photos.
Même les pores et les poils du visage peuvent être restaurés.
Aujourd’hui, la technologie d’élimination de la mosaïque est devenue mature : il y a à peine deux semaines, un nouvel algorithme MAE était open source.
C'est encore plus puissant : même si l'écran est bloqué à plus de 90 %, l'IA trouvera un moyen de nous aider à récupérer.
Je l'ai exécuté et essayé, en utilisant l'image ci-dessous.
Après l’occlusion, nous pouvons dire approximativement de quoi il s’agit, mais nous ne savons toujours pas à quoi ressemblent les yeux.
Après l'avoir exécuté, l'effet simulé par l'algorithme est le suivant :
Et l'image originale est la suivante :
Elle est essentiellement restaurée.
Jetons un coup d'œil au fonctionnement de ces algorithmes.
La mosaïque est en fait une image à faible pixel.
Une image claire ne peut avoir que 100 pixels dans la zone des yeux, mais convertie en mosaïque, cette zone ne peut avoir que 3 pixels.
De cette façon, l’image sera floue et il ne sera pas clair quelle est l’image originale.
Si vous souhaitez restaurer la photo, vous devez créer quelques fonctionnalités basées sur ces 3 pixels et la re-compléter à 100 pixels.
C’est ce que fait l’algorithme, en remplissant automatiquement certaines caractéristiques inexistantes, comme les rides, les cheveux, etc.
Alors ces algorithmes peuvent-ils vraiment nous aider à restaurer les photos à 100 % ?
Je l'ai essayé avec ma propre photo d'identité.
La première image est l'image originale et la dernière image est l'effet restauré final.
que--
Bien qu'il ait aussi un nez et des yeux.
Mais par rapport à la photo originale, on peut seulement dire qu’elle n’a absolument aucune pertinence.
La photo finale générée n'est que l'imagination d'un algorithme et peut simplement être un visage réel.
Mais il semble impossible de reconstituer et de restaurer des portraits à travers des mosaïques.
Cependant, la précision est relativement élevée lors de la restauration de certains objets présentant des caractéristiques individuelles moins évidentes, comme des meubles, des animaux, etc.
Par exemple, l’algorithme MAE a restauré le petit renard ci-dessous avec beaucoup de succès.
Alors, comment exécuter ces algorithmes ?
Prenons comme exemple le premier algorithme PULSE.
Étape 1 : Téléchargez le code
adresse du projet :
https://github.com/adamian98/pulse
Étape 2 : Configurer l'environnement
Sous le répertoire racine du fichier de code se trouve un fichier pulse.yml dans lequel se trouvent les informations de configuration de l'environnement.
Nous pouvons directement exécuter le code suivant pour créer un environnement virtuel et configurer l'environnement en fonction du fichier pulse.yml.
conda env create -n pulse -f pulse.yml
Cependant, je l'ai installé moi-même et j'ai signalé l'erreur suivante :
Solving environment: failed
ResolvePackageNotFound:***
En effet, le fichier de configuration de l'environnement est exporté depuis un autre ordinateur, ce qui n'est pas adapté à la configuration de notre ordinateur. Cela peut être résolu en supprimant les informations spécifiques du package, c'est-à-dire en supprimant le contenu après le deuxième signe égal du nom du paquet.
Par exemple:
- blas=1.0=mkl
- ca-certificates=2020.1.1=0
Remplacer par :
- blas=1.0
- ca-certificates=2020.1.1
Il y a également des problèmes avec l'installation de la bibliothèque dlib. Vous devez d'abord installer cmake, puis installer dlib.
pip install cmake
pip install dlib
Si l'installation échoue toujours, vous pouvez d'abord télécharger la version dlib19.19.0 et l'installer localement.
J'ai téléchargé le fichier de version dlib19.19.0 sur mon disque réseau Baidu.
Adresse de téléchargement (code d'extraction : 6666) :
https://pan.baidu.com/s/16KHEdZ0KD_pQPRRiGuq5Ew
Enfin, installez simplement les fichiers locaux.
pip install dlib-19.19.0-cp38-cp38-win_amd64.whl.whl
Étape 3 : Exécuter le modèle
Le projet nous fournit un modèle pré-entraîné, qui doit être téléchargé sur le mur.
Je l'ai également téléchargé et téléchargé sur mon disque réseau Baidu.
Adresse de téléchargement (code d'extraction : 6666) :
https://pan.baidu.com/s/16KHEdZ0KD_pQPRRiGuq5Ew
Sous le répertoire racine du fichier de code, créez deux dossiers nommés : cache et realpics.
Placez le modèle pré-entraîné (trois fichiers) téléchargé ci-dessus dans le dossier cache.
Mettez ensuite une photo portrait dans le dossier realpics. Prenons comme exemple la photo suivante :
Exécutez d’abord l’instruction suivante pour réduire la résolution de l’image.
python align_face.py
Les images générées seront placées dans le dossier d'entrée.
Enfin, exécutez le fichier run.py
python run.py
Une carte cérébrale sera générée dans le dossier des courses.
Ils sont tous blonds, mais ils ne se ressemblent pas...
Si vous rencontrez cette erreur pendant le fonctionnement :
Could not find a face that downscales correctly within epsilon
Il y a deux manières de le résoudre :
1. Augmenter le nombre d'itérations
python run.py -steps=5000
2. Augmenter le BPA
Ce problème se produit car la perte L2 est supérieure à l'eps. Nous pouvons éviter cette erreur en augmentant la valeur de l'eps.
À la ligne 39 du fichier run.py.
Code d'origine :
parser.add_argument('-eps', type=float, default=2e-3, help='Target for downscaling loss (L2)')
changé en:
parser.add_argument('-eps', type=float, default=8e-2, help='Target for downscaling loss (L2)')
De cette façon, il n’y a pratiquement aucun problème.
J'ai noté tous les problèmes que j'ai rencontrés lors du déroulement du projet, j'espère que tout le monde pourra le faire fonctionner plus facilement ~
Si vous souhaitez exécuter le nouvel algorithme MAE.
L'adresse du projet est :
https://github.com/facebookresearch/mae
Le projet fournit Colab, qui nécessite une connexion à un compte Google pour fonctionner. Si vous pouvez vous connecter, vous pouvez directement expérimenter l'effet de l'algorithme en ligne :
https://colab.research.google.com/github/facebookresearch/mae/blob/main/demo/mae_visualize.ipynb