La classification d’images sans apprentissage supervisé (apprentissage zéro-shot en français) est une technique de vision par ordinateur permettant de classer des images dans différentes catégories, même si le modèle n’a jamais été spécifiquement entraîné sur ces catégories auparavant. Cela diffère de la classification d’images traditionnelle où le modèle doit être entraîné sur un large ensemble de données d’images étiquetées pour chaque catégorie.

Les Transformateurs Visuels (ViTs) sont une architecture de réseau neuronal révolutionnaire qui a bouleversé le domaine de la vision par ordinateur. Contrairement aux modèles de vision par ordinateur traditionnels qui s’appuient sur des convolutions pour extraire des caractéristiques des images, les ViTs utilisent une architecture basée sur l’attention, inspirée des réseaux de neurones à transformateur introduits par Vaswani et al. (2017).

Fonctionnement des ViTs :

                 1. Tokenisation de l’image :

• 1. • Les images sont d’abord découpées en plusieurs petits morceaux ou “patches”. Chaque patch est traité comme un “mot” dans le contexte du traitement du langage. Cela permet au modèle de traiter l’image de manière séquentielle.
  2. Plongements linéaires :
     • Chaque patch est ensuite aplati et transformé en un vecteur à travers une couche linéaire (embedding layer). Cela convertit les données d’image brutes en une forme que le modèle peut traiter efficacement.
  3. Ajout de codage positionnel :
     • Comme dans les modèles de NLP, un codage positionnel est ajouté aux embeddings pour donner au modèle des informations sur la position relative des patches dans l’image originale. Cela aide le modèle à comprendre comment les patches sont disposés spatialement.
  4. Couches de transformateurs :
     • Les vecteurs de patch, maintenant enrichis d’informations positionnelles, sont passés à travers plusieurs couches de transformateurs. Ces couches utilisent des mécanismes d’auto-attention pour permettre au modèle de pondérer l’importance relative de chaque patch par rapport aux autres lors de la réalisation de tâches spécifiques.
  5. Classification ou autres tâches :
     • En sortie des couches de transformateurs, les données peuvent être utilisées pour diverses tâches, telles que la classification d’images, la détection d’objets, ou même la segmentation d’images. Pour la classification, par exemple, un vecteur final issu des couches de transformateurs est souvent passé à travers une couche dense pour prédire la classe de l’image.

Avantages des ViTs :

• Apprentissage de longs-courriers : L’architecture basée sur l’attention permet aux ViTs de capturer des dépendances à longue portée entre les éléments de l’image, ce qui est crucial pour des tâches comme la reconnaissance d’objets et la segmentation sémantique.
• Meilleure généralisation : Les ViTs ont montré une meilleure capacité de généralisation à de nouvelles données par rapport aux modèles basés sur convolutions.
• Flexibilité : L’architecture des ViTs est modulaire et peut être facilement adaptée à un large éventail de tâches de vision par ordinateur.

Applications des ViTs :

• Classification d’images : Identifier la classe d’un objet dans une image.
• Détection d’objets : Localiser et identifier des objets dans une image.
• Segmentation sémantique : Définir les contours de chaque objet dans une image.
• Génération d’images : Générer des images à partir de texte ou d’autres images.
• Traduction d’images : Traduire une image d’un style visuel à un autre.

Les ViTs ont connu un succès fulgurant dans le domaine de la vision par ordinateur et représentent une avancée majeure dans la façon dont les ordinateurs perçoivent et comprennent le monde visuel.

Ressources supplémentaires :

• Un guide sur les Transformateurs Visuels: https://huggingface.co/docs/transformers/en/model_doc/vit
• Vision par ordinateur basée sur des transformateurs : une revue: https://arxiv.org/abs/2402.17863
• Le Transformer original: https://arxiv.org/abs/1706.03762

FastSAM, ou Fast Segment Anything Model, est un modèle de segmentation d’image révolutionnaire qui offre une vitesse 50 fois supérieure à celle de son prédécesseur, SAM, tout en conservant des performances comparables.

Fonctionnement

FastSAM tire sa puissance de deux technologies clés :

• YOLOv8-seg: un détecteur d’objets performant doté d’une branche dédiée à la segmentation d’instances.
• Un ensemble de données réduit: l’entraînement de FastSAM utilise seulement 2% du dataset SA-1B utilisé pour SAM, ce qui permet d’accélérer considérablement le processus sans sacrifier la précision.

Applications

FastSAM ouvre la voie à de nombreuses applications en temps réel dans divers domaines, tels que :

• Vision industrielle: inspection automatisée de produits, détection de défauts, etc.
• Robotique: navigation autonome, manipulation d’objets, etc.
• Véhicules autonomes: segmentation précise des obstacles et des participants à la route.
• Réalité augmentée et virtuelle: création d’environnements immersifs et interactifs.

Avantages

• Vitesse: 50 fois plus rapide que SAM, idéal pour les applications en temps réel.
• Précision: performances comparables à SAM, assurant une segmentation précise.
• Efficacité: utilise moins de données et de ressources pour l’entraînement.
• Flexibilité: disponible en différentes versions pour répondre à divers besoins.

Conclusion

FastSAM représente une avancée majeure dans le domaine de la segmentation d’image. Sa vitesse fulgurante et sa précision remarquable le rendent incontournable pour une multitude d’applications en temps réel.

Pour aller plus loin:

• GitHub FastSAM: https://github.com/CASIA-IVA-Lab/FastSAM
• Blog Roboflow – FastSAM: https://blog.roboflow.com/what-is-fastsam/
• Docs Ultralytics – FastSAM: https://docs.ultralytics.com/fr/models/fast-sam/

VisionEye Mapping est une fonctionnalité révolutionnaire de la bibliothèque de détection d’objets Ultralytics . Elle permet aux ordinateurs d’identifier et de localiser des objets précis dans une scène, imitant la précision d’observation de l’œil humain. Cette technologie ouvre de nouvelles possibilités pour une variété d’applications, de la surveillance et de la sécurité à la robotique et à l’industrie automobile.

Fonctionnement de VisionEye Mapping

VisionEye Mapping s’appuie sur deux technologies puissantes:

• YOLOv8 ou Yolov9: Détecte et localise des objets en temps réel avec une grande précision.
• VisionEye: Permet de se concentrer sur des objets spécifiques dans une scène, en ignorant les détails non pertinents.

En combinant ces technologies, VisionEye Mapping crée une “carte” des objets pertinents dans une image ou une vidéo. Cette carte peut ensuite être utilisée pour diverses tâches, telles que:

• Suivi d’objets: Surveiller le mouvement d’objets spécifiques dans une scène.
• Comptage d’objets: Dénombrer le nombre d’objets d’un type particulier dans une zone donnée.
• Analyse de scène: Identifier et comprendre les différents éléments d’une scène.

Avantages de VisionEye Mapping

• Précision accrue: VisionEye permet une identification et une localisation plus précises des objets que les méthodes traditionnelles.
• Efficacité accrue: En se concentrant sur les objets pertinents, VisionEye peut réduire le temps de traitement et améliorer l’efficacité.
• Flexibilité: VisionEye peut être utilisé avec une grande variété de caméras et de capteurs.

Applications de VisionEye Mapping

VisionEye Mapping a le potentiel de révolutionner un large éventail d’applications, notamment:

• Surveillance et sécurité: Suivi des personnes et des véhicules dans les zones publiques, détection d’intrusion et surveillance des foules.
• Robotique: Guidage des robots dans des environnements complexes, localisation et manipulation d’objets.
• Industrie automobile: Détection d’obstacles pour les véhicules autonomes, inspection des pièces automobiles.
• Agriculture: Surveillance des cultures et du bétail, tri des produits agricoles.
• Domotique: Contrôle des appareils intelligents par des gestes et des mouvements.

Conclusion

VisionEye Mapping est une technologie prometteuse avec le potentiel de transformer la façon dont nous interagissons avec le monde qui nous entoure. Sa précision, son efficacité et sa flexibilité en font un outil précieux pour une variété d’applications. Alors que la technologie continue de se développer, nous pouvons nous attendre à voir VisionEye Mapping jouer un rôle de plus en plus important dans nos vies.

Ressources supplémentaires:

• Documentation Ultralytics YOLOv8 VisionEye: https://docs.ultralytics.com/fr/guides/vision-eye/

import cv2
from ultralytics import YOLO
from ultralytics.utils.plotting import colors, Annotator

model = YOLO("yolov9e.pt") # on peut uriliser yolov8 ou yolov9
names = model.model.names
cap = cv2.VideoCapture(0)
w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))

out = cv2.VideoWriter('visioneye-pinpoint1.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, (w, h))

center_point = (-10, h)

while True:
    ret, im0 = cap.read()
   

    results = model.predict(im0)
    boxes = results[0].boxes.xyxy.cpu()
    clss = results[0].boxes.cls.cpu().tolist()

    annotator = Annotator(im0, line_width=2)

    for box, cls in zip(boxes, clss):
        annotator.box_label(box, label=names[int(cls)], color=colors(int(cls)))
        annotator.visioneye(box, center_point)

    out.write(im0)
    cv2.imwrite("vision.png", im0)
    cv2.imshow("visioneye-pinpoint", im0)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

out.release()
cap.release()
cv2.destroyAllWindows()

YOLOv9 est un nouveau modèle de détection d’objets en temps réel qui a été récemment publié et qui s’annonce comme une avancée majeure dans ce domaine. Il surpasse ses prédécesseurs en termes de précision, d’efficacité et de flexibilité, ce qui en fait un outil puissant pour une large gamme d’applications.

Ce modèle introduit des concepts innovants tels que l’Information de Gradient Programmable (PGI) et le Réseau d’Aggrégation de Couches Efficace et Généralisé (GELAN) pour améliorer l’exactitude et l’efficacité de la détection. Le PGI s’attaque au défi de la perte d’informations dans les réseaux profonds en préservant les caractéristiques clés et en garantissant une génération fiable de gradients pour des résultats d’entraînement optimaux. D’autre part, le GELAN propose une architecture de réseau légère qui optimise l’utilisation des paramètres et l’efficacité computationnelle, rendant YOLOv9 adaptable à une large gamme d’applications​ https://docs.ultralytics.com/fr/models/yolov9/#introduction-to-yolov9

YOLOv9 se distingue par la division de sa tête en une branche principale et une branche auxiliaire à plusieurs niveaux, aidant à capturer et à conserver l’information de gradient pendant la phase d’entraînement. Cette conception permet à la branche auxiliaire de soutenir efficacement la branche principale en préservant l’information de gradient essentielle​​. La série du modèle comprend des variantes telles que YOLOv9-s (petit), YOLOv9-m (moyen), YOLOv9-c (compact) et YOLOv9-e (étendu), répondant à divers besoins allant de l’application légère à l’application intensive en performance

Le modèle a montré une performance supérieure sur le jeu de données COCO, équilibrant l’efficacité et la précision à travers ses variantes. La conception de YOLOv9 aide à réduire les paramètres et les besoins computationnels tout en améliorant l’exactitude, maintenant l’héritage de la série de fournir des modèles de détection d’objets performants​​. Plus précisément, YOLOv9 résout le problème de goulot d’étranglement de l’information dans les réseaux neuronaux profonds, où l’empilement séquentiel peut entraîner une perte d’informations importantes, et aborde les inefficacités liées à l’utilisation des paramètres à travers l’architecture GELAN innovante​​.

Comparativement, YOLOv9 offre des avancées significatives dans la conception des modèles, mettant l’accent sur une efficacité accrue sans compromettre la précision, essentielle pour les tâches de détection d’objets en temps réel. Il établit de nouveaux repères en matière de métriques de performance tout en soulignant également l’importance de l’efficacité computationnelle, s’établissant comme un développement clé dans le domaine de la vision par ordinateur​

Points forts de YOLOv9:

• Précision de pointe: YOLOv9 atteint des résultats de pointe en matière de précision sur des benchmarks standard comme COCO et PASCAL VOC. Il est capable de détecter une large gamme d’objets avec une grande précision, même dans des images complexes et défavorables.
• Efficacité accrue: YOLOv9 est plus efficace que les modèles précédents, ce qui lui permet de fonctionner plus rapidement sur des appareils moins puissants. Cela le rend idéal pour les applications embarquées et mobiles où la vitesse est essentielle.
• Flexibilité programmable: YOLOv9 offre une flexibilité unique grâce à l’utilisation de gradients programmables. Cela permet aux utilisateurs de personnaliser le processus d’apprentissage en fonction de leurs besoins spécifiques, ce qui peut améliorer encore la précision et l’efficacité pour des tâches spécifiques.

Applications de YOLOv9:

YOLOv9 peut être utilisé pour une large gamme d’applications de détection d’objets en temps réel, notamment :

• Surveillance: YOLOv9 peut être utilisé pour surveiller les personnes et les véhicules dans des environnements publics ou privés.
• Robotique: YOLOv9 peut aider les robots à naviguer dans leur environnement et à interagir avec des objets.
• Inspection industrielle: YOLOv9 peut être utilisé pour inspecter des produits à la recherche de défauts.
• Véhicules autonomes: YOLOv9 peut aider les véhicules autonomes à détecter d’autres véhicules, des piétons et des obstacles sur la route.

Conclusion:

YOLOv9 est une avancée majeure dans la détection d’objets en temps réel. Sa précision, son efficacité et sa flexibilité en font un outil puissant pour une large gamme d’applications. Il est probable que YOLOv9 aura un impact significatif sur la façon dont nous utilisons la technologie de détection d’objets dans les années à venir.

Ressources supplémentaires:

• Article de recherche YOLOv9: https://arxiv.org/pdf/2308.07712
• Référentiel GitHub YOLOv9: https://github.com/WongKinYiu/yolov9/blob/main

Transformation géométrique d’images

Les transformations géométriques jouent un rôle crucial dans le traitement d’images, permettant de modifier la perspective, la taille et l’orientation des images.

Redimensionnement

Le redimensionnement est une des transformations les plus courantes. OpenCV permet de redimensionner une image avec la fonction

.

import cv2

# Charger l'image
image = cv2.imread('chemin/vers/image.jpg')

# Redimensionner l'image
image_resized = cv2.resize(image, (nouvelle_largeur, nouvelle_hauteur))

cv2.imshow('Image redimensionnée', image_resized)
cv2.waitKey(0)
cv2.destroyAllWindows()

Rotation

La rotation d’une image à un certain angle se fait en utilisant la matrice de rotation obtenue avec

.

# Centre de rotation (le centre de l'image dans ce cas)
centre = (largeur / 2, hauteur / 2)

# Matrice de rotation
matrice_rotation = cv2.getRotationMatrix2D(centre, angle, echelle)

# Appliquer la rotation
image_rotated = cv2.warpAffine(image, matrice_rotation, (largeur, hauteur))

Exercice 1 : Appliquer une rotation

1. Chargez une image.
2. Appliquez une rotation de 45 degrés sans perte de contenu.
3. Affichez l’image originale et l’image tournée.

Conversion de couleurs et gestion des canaux

OpenCV permet de convertir facilement les images d’un espace colorimétrique à un autre (par exemple, de BGR à RGB, HSV, etc.) avec la fonction

.

Changement d’espace colorimétrique

# Convertir une image BGR en HSV
image_hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)

OpenCV permet de convertir facilement les images d’un espace colorimétrique à un autre, comme de BGR (Bleu, Vert, Rouge) à RGB, HSV (Teinte, Saturation, Valeur) ou à des images en niveaux de gris.

# Convertir une image BGR en RGB
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

# Convertir une image BGR en HSV
image_hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)

# Convertir une image BGR en niveaux de gris
image_grise = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

Séparation et fusion de canaux

Vous pouvez séparer une image en ses canaux de couleur individuels, puis les fusionner ou manipuler individuellement.

# Séparer les canaux
B, G, R = cv2.split(image)

# Fusionner les canaux
image_fusionnee = cv2.merge([B, G, R])

Exercice 2 : Manipulation des canaux

1. Chargez une image en couleur.
2. Séparez-la en ses canaux Rouge, Vert et Bleu.
3. Créez une nouvelle image en échangeant deux canaux de l’image originale.
4. Comparez l’image originale et l’image modifiée.

Application de masques et de filtres

Les masques et les filtres sont des outils puissants pour améliorer ou extraire des informations d’une image.

Application d’un filtre

Les filtres permettent de réaliser des opérations telles que le flou, l’accentuation ou la détection de bords.

# Appliquer un flou gaussien
image_floue = cv2.GaussianBlur(image, (5, 5), 0)

Utilisation de masques

Un masque permet d’appliquer une opération sur une partie spécifique de l’image.

# Créer un masque binaire
masque = cv2.inRange(image_hsv, borne_inf, borne_sup)

# Appliquer le masque
image_masquee = cv2.bitwise_and(image, image, mask=masque)

Exercice 3 : Filtrage par masque

1. Chargez une image en couleur.
2. Convertissez l’image en espace de couleur HSV.
3. Créez un masque pour isoler une certaine gamme de couleurs.
4. Appliquez ce masque pour extraire la partie de l’image contenant les couleurs ciblées.
5. Affichez l’image originale et le résultat du masquage.

Ces techniques avancées de manipulation d’images ouvrent la porte à de nombreuses applications, de l’amélioration de la qualité d’image à la reconnaissance d’objets. En maîtrisant ces outils, vous serez bien équipé pour aborder des projets plus complexes en traitement d’images et en vision par ordinateur.

Installation et configuration de l’environnement de développement

Pour commencer à travailler avec OpenCV, il faut d’abord l’installer et configurer l’environnement de développement. OpenCV est disponible pour Windows, Linux et macOS, et peut être intégré à de nombreux IDEs et langages de programmation, le plus courant étant Python.

Installation avec Python

1. Assurez-vous d’avoir Python installé sur votre système. OpenCV requiert Python 2.7.X ou une version 3.4+.
2. Installez OpenCV en utilisant pip, le gestionnaire de paquets Python, en exécutant la commande suivante dans votre terminal ou invite de commande :
   Copy code
   pip install opencv-python

1. Pour les fonctionnalités supplémentaires d’OpenCV, installez
   opencv-python-headless

   avec :

   Copy code

   pip install opencv-python-headless

Vérification de l’installation

Pour vérifier que l’installation a réussi, ouvrez un interpréteur Python et essayez d’importer cv2 (le module OpenCV pour Python) :

import cv2
print(cv2.__version__)

import cv2

# Charger une image
image = cv2.imread('chemin/vers/votre/image.jpg')

# Afficher l'image dans une fenêtre
cv2.imshow('Titre de la fenêtre', image)
cv2.waitKey(0) # Attendre une touche pour fermer
cv2.destroyAllWindows()

OpenCV, qui signifie “Open Source Computer Vision Library”, est une bibliothèque logicielle ouverte et gratuite destinée à la vision par ordinateur et au traitement d’images. Elle a été développée pour fournir une infrastructure commune pour les applications de vision par ordinateur et pour accélérer l’utilisation de la perception machine dans les produits commerciaux. Depuis sa première sortie en 2000, OpenCV a trouvé son chemin dans de nombreuses applications, allant de la sécurité interactive aux véhicules autonomes.

Les fonctionnalités d’OpenCV couvrent plusieurs domaines du traitement d’images et de la vision par ordinateur, notamment :

1. Traitement d’images : opérations de base sur les images telles que le filtrage, la transformation, la manipulation de formes, etc.
2. Vision par ordinateur : techniques de détection de caractéristiques, de correspondance de caractéristiques et de suivi d’objets.
3. Reconnaissance faciale : détection, reconnaissance et suivi des visages.
4. Machine Learning : algorithmes pour la classification, la régression et le clustering.
5. Réalité augmentée : superposition d’images et de vidéos dans des scènes réelles.
6. 3D : manipulation et affichage d’images 3D, y compris la stéréovision et la reconstruction de scènes.

La conversion d’un modèle du format .pt de PyTorch au format ONNX implique quelques étapes, nécessitant généralement de charger le modèle PyTorch puis d’utiliser une fonction ou une méthode pour l’exporter vers ONNX.

Installez la bibliothèque Ultralytics YOLO

Assurez-vous que la bibliothèque Ultralytics YOLO est installée dans votre environnement Python. Cette bibliothèque fournit les outils et méthodes nécessaires pour travailler avec les modèles YOLO. Vous pouvez l’installer en utilisant pip si elle n’est pas déjà installée :

“`
pip install ultralytics

“`

Importer la classe YOLO

Commencez votre script en important la classe YOLO du paquet ultralytics. Cette classe est conçue pour gérer les modèles YOLO, y compris leur chargement et leur exportation.

“`
from ultralytics import YOLO

“`

Charger votre modèle PyTorch personnalisé

Utilisez la classe YOLO pour charger votre modèle entraîné personnalisé. Vous devez spécifier le chemin d’accès à votre fichier de modèle .pt. Ce fichier doit contenir les poids entraînés et l’architecture du modèle. L’exemple utilise “best.pt”, en supposant qu’il s’agit du nom de votre fichier de modèle.

“`
model = YOLO(‘best.pt’) # load a custom trained model

“`

Exporter le modèle au format ONNX

Une fois le modèle chargé, vous pouvez l’exporter au format ONNX en utilisant la méthode d’exportation. Spécifiez le format ‘onnx’ dans l’appel de la méthode. Cela créera un fichier ONNX dans le répertoire de travail actuel ou dans le chemin spécifié (si vous en fournissez un).

“`
model.export(format=’onnx’)
“`

Vérifier le fichier modèle ONNX

Après avoir exécuté le script, vous devriez trouver un fichier de modèle ONNX dans votre répertoire de travail. Le nom du fichier sera généralement dérivé du nom de votre fichier .pt original, mais avec une extension .onnx.