Caméra intelligente OpenMV OMV N6

La programmation de l'OpenMV N6 s'effectue en Python (grâce au  système d'exploitation MicroPython ) plutôt qu'en C/C++. Ceci simplifie la gestion des données complexes issues des algorithmes de vision industrielle et l'utilisation de structures de données de haut niveau. Vous conservez néanmoins un contrôle total sur votre OpenMV N6 et ses broches d'entrée/sortie depuis Python. Vous pouvez ainsi déclencher facilement la prise de photos et de vidéos à partir d'événements externes ou exécuter des algorithmes de vision industrielle pour optimiser le fonctionnement de vos broches d'entrée/sortie. 

Caractéristiques de l'OpenMV N6

Le processeur vectoriel STM32N6 ARM Cortex-M55, cadencé à 800 MHz (6,4 Gigaops), offre jusqu'à 8 opérations par cycle d'horloge et dispose de 64 Mo de SDRAM, 4,2 Mo de SRAM et 32 ​​Mo de mémoire Flash (programme/stockage).

Il intègre un NPU cadencé à 1 GHz offrant  600 Gigaops de puissance de calcul pour l'IA/ML, permettant l'exécution de modèles et, par exemple, l'exécution d'algorithmes de détection d'objets YOLO à 30 images par seconde. Le NPU (“Neural Processing Unit”) sert à exécuter les réseaux de neurones beaucoup plus vite et plus efficacement qu’un CPU classique. C’est justement ce qui change l’usage de la caméra OMV-N6 qui peut être plus de 100× plus rapides que la génération précédente pour ce type de charge, ce qui permet de faire tourner des modèles modernes directement sur la caméra. Ainsi vous pourrez par exemple effectuez l'entrainement de votre caméra OMV-N6 via une plateforme en ligne (type Roboflow par exemple) puis une fois l'entrainement terminé, vous pourrez utiliser votre OMV-N6 de façon autonome sans connexion à un service externe. Voir des exemples concrets à la fin de cette page.
  
Concrètement, sans NPU, une caméra embarquée sait déjà faire des choses utiles comme détection de couleur, QR code, AprilTag, contours, blobs, etc. Avec un NPU, elle peut en plus exécuter des modèles de classification, détection d’objets ou segmentation de façon beaucoup plus réaliste en temps réel.

Le processeur de signal d'image de la caméra OVM-N6 prend en charge les modules de caméra RAW Bayer jusqu'à 5 mégapixels. Le GPU assure l'accélération graphique, notamment pour la mise à l'échelle et la rotation d'images 3D. L'encodage H.264 (jusqu'à 1080p) et l'encodage/décodage JPEG bénéficient d'une accélération matérielle intégrée.
 
Toutes les broches d'E/S sont compatibles avec une tension de sortie de 3,3 V. Le processeur possède les interfaces d'E/S suivantes :

- Une interface USB-C haut débit (480 Mbit/s) permet de connecter votre caméra OpenMV à votre ordinateur. Une fois branchée, elle apparaîtra comme un port COM virtuel et une clé USB avec un courant limité à 1,5 A et un filtrage EMI et une protection TVS.

- Un emplacement pour carte μSD capable de lire/écrire à 104 Mo/s, permettant à votre caméra OpenMV de prendre des photos et de récupérer facilement  les ressources de vision industrielle depuis la carte μSD. L'interface intègre un filtrage EMI et une protection TVS.

- Deux bus SPI pouvant atteindre 100 Mb/s vous permettent de diffuser facilement des données d'image du système vers l'écran LCD ou un autre microcontrôleur.

- Un bus I2S pour un codec audio.

- Un bus I2C (jusqu'à 1 Mb/s), un bus I3C (jusqu'à 10 Mb/s), deux bus CAN (jusqu'à 8 Mb/s) et trois bus série asynchrones (TX/RX, jusqu'à 12,5 Mb/s) pour l'interfaçage avec d'autres microcontrôleurs et capteurs.

- Un convertisseur analogique-numérique 12 bits (tolérant 3,3 V).

- Trois broches d'E/S pour la commande d'un servomoteur (non livré).

- Une broche d'E/S pour la synchronisation/le déclenchement d'images (ou la commande de servo).

- Deux broches d'E/S pour la sortie de veille à faible consommation (partagé avec un bouton).

- Interruptions sur toutes les broches d'E/S (il y a 18 broches d'E/S sur la carte). 

- Une horloge temps réel intégrée qui continue de fonctionner même lorsque le système est en mode basse consommation (avec 8 Ko de RAM de sauvegarde et une connexion dédiée pour batterie de secours). 

- Une LED RVB contrôlable/dimmable par l'utilisateur.  

- Un bouton utilisateur. 

- Une autre LED RVB indique la charge, l'alimentation USB et l'alimentation VIN.  

- 64 Mo de SDRAM externe 16 bits cadencée à 200 MHz DDR pour une bande passante de 800 Mo/s. 

- 32 Mo de mémoire flash octale programme/stockage cadencée à 200 MHz en mode D DR 8 bits pour une bande passante de 400  Mo/s (vitesse de lecture).

- Une centrale inertielle (accéléromètre et gyroscope) centrée sous le module caméra.
 
- Un microphone pour l'enregistrement audio et la détection/le traitement du son.

- Module WiFi embarqué (a/b/g/n - 11/54/65 Mb/s) et Bluetooth (v5.1 - BR/EDR/BLE) avec une antenne intégrée avec possibilité d'utiliser une antenne U.FL à la place (non libvée).

- Ethernet embarqué 10/100/1000 Mb/s (nécessite une platine d'extension - non livrée - pour se connecter à l'Ethernet) 

- Prise Ethernet avec prise en charge PoE via un blindage externe.

- Un système de module caméra amovible, avec prise en charge de MIPI CSI et du parallèle 8 bits, permettant à l'OpenMV N6 de s'interfacer avec différents capteurs.

 
L'OpenMV N6 est équipé d'un capteur d'image couleur 1MP à obturateur global et 120 images par seconde. La plupart des algorithmes simples fonctionnent à environ 120 images par seconde en résolution VGA (640 x 480) et inférieure. Si vous souhaitez utiliser des objectifs plus spécialisés avec votre capteur, vous pouvez facilement vous les procurer et les installer vous-même ou vous pouvez utiliser l'un des nombreux modules de capteurs de notre gamme.

- Un connecteur de batterie LiPo compatible avec les batteries LiPo 3,7 V couramment vendues en ligne pour les applications robotiques de loisirs avec prise en charge de la charge de la batterie via USB. Courant de charge rapide de 500 mA avec protection TVS et convertisseur analogique-numérique pour la lecture de la tension de la batterie.

- Connecteur JTAG ARM à 10 broches compatible avec les périphériques SEGGER J-Link pour le débogage et la programmation avec filtrage EMI, protection TVS et commutateur BOOT1 pour le débogage.

- Alimentation externe 5 V VIN avec protection contre l'inversion de polarité et protection TVS.
  
 

A propos des tensions applicables sur l'OpenMV N6

ATTENTION : LES BROCHES E/S DE L'OPENMV  N6 NE SONT PAS COMPATIBLES AVEC UNE TENSION DE 5 V !
NE CONNECTEZ PAS CELUI DIRECTEMENT À UN MICROCONTROLEURE TYPE ARDUINO OU AUTRE.
 
L'alimentation du N6 doit être effectuée via VIN. Les broches 3,3 V sont uniquement des sorties. VIN accepte une tension d'entrée maximale de 5,7 V. Si vous devez fournir une tension supérieure à 5,7 V, veuillez utiliser l'une de nos nouvelles cartes d'extension avec entrées de régulateur à découpage 6 V-36 V.

Spécifications techniques de l'OpenMV N6

Processeur :

- Processeur ARM® Cortex®-M55 32 bits avec FPU double précision et technologie ARM® MVE Helium™ (SIMD 128 bits) 800 MHz (1280 DMIPS)

- Score Core Mark : 3616 (à comparer avec Raspberry Pi 3 : 3800)

Informations sur la caméra :

- Capteur couleur PAG7936 1 MP à obturateur global :

- 1280 x 800 à 120 images/s, 640 x 400 à 240 images/s, 320 x 200 à 480 images/s

- Format optique : 1/4"

- Taille des pixels : 3 µm x 3 µm

- CRA : 20°

- Rapport signal/bruit : 36 dB

- Plage dynamique : 64 dB

Informations sur l'objectif :

- Diamètre maximal du cercle d'image : 6,7 mm

- Longueur focale : 2,8 mm

- Ouverture : F2.0

- TTL optique/mécanique : 17,50

- Longueur focale arrière : 5,37 mm

- Longueur focale de la bride : 4,53 mm

- Distorsion TV : <-24 %

- Éclairage relatif : >70 %

- CRA : 14°

- Température de stockage/fonctionnement : -40 °C à 85 °C

- Format : 1/3"

- Montage : M12*0,5

- Filtre coupe-IR : 650 nm à 420-600 nm : Tavg > 90 % - à 650 nm ± 10 nm : T = 50 %

- Niveau de poussière : IP4X

- Structure : 6G + 1BG

- Champ de vision réel avec le capteur d'image PAG7936 : D78,0° H68,8° V46,4°

Informations électriques :

Toutes les broches sont compatibles avec une tension de sortie de 3,3 V. Chaque broche peut fournir ou absorber jusqu'à 20 mA. La tension d'entrée (VIN) peut être comprise entre 4,7 V et 5,7 V. Ne consommez pas plus de 250 mA sur le rail 3,3 V de votre caméra OpenMV.

Autres caractéristiques techniques :

- Temps de mise sous tension pour obtenir le résultat de l'inférence (connecté au PC) : ~2,5 s

- Temps de mise sous tension pour obtenir le résultat de l'inférence (autonome) : ~1,5 s

- Sortie du sommeil profond pour obtenir le résultat de l'inférence (connecté au PC) : ~2,5 s

- Sortie du sommeil profond pour obtenir le résultat de l'inférence (autonome) : ~1,5 s

- Contournement du chargeur de démarrage, mise sous tension/sortie de veille pour obtenir le résultat de l'inférence (connecté à un PC) : ~1,5 s

- Contournement du chargeur de démarrage, mise sous tension/sortie de veille pour obtenir le résultat de l'inférence (autonome) : ~0,5 s

- Contournement du chargeur de démarrage, mise sous tension/sortie de veille pour l'inférence/l'enregistrement d'image (connecté à un PC) : ~4 s  (le PC ralentit le système pendant la lecture du stockage de masse)

- Contournement du chargeur de démarrage, mise sous tension/sortie de veille pour l'inférence/l'enregistrement d'image (autonome) : ~0,75 s

- Consommation d'énergie

- Puissance maximale : 150 mA à 5 V (0,75 W)

- Veille profonde : 1,6 mA à 3,7 V (~6 mW, via le connecteur BAT)

Dimensions

- Longueur : 45 mm

- Largeur : 35 mm

- Hauteur : 30 mm

Plage de température

- Température de stockage : -25 °C à +70 °C

- Température de fonctionnement : -10 °C à +70 °C

 
 
 
Le module OMV-N6 intègre un interpréteur MicroPython afin que vos scripts puissent s'exécuter en ayant accès aux algorithmes vidéos. Vous pourrez développer vos scripts sous OpenMV IDE (lequel dispose d'un puissant éditeur syntaxique).

L'environnement de développement OpenMV IDE supporte Linux et Windows™. Il peut télécharger et exécuter vos scripts, afficher ce que voit la caméra, sélectionner des paramètres pour le suivi d'objets, modifier les constantes de détection de couleur et plus encore.

Cas concrets des avantages à utiliser une caméra avec NPU intégré

1) Compter des objets sur un convoyeur

Sans NPU, vous pouvez détecter des formes simples si les pièces sont toujours bien éclairées et bien présentées. Dès que la lumière change, que les objets se chevauchent, ou qu’il y a plusieurs références, ça devient plus difficile.

Avec NPU, vous pouvez entraîner un petit modèle pour reconnaître “une bouteille”, “un bouchon”, “une pièce OK”, “une pièce non conforme”. La caméra compte et déclenche une sortie GPIO ou un vérin seulement quand le bon objet passe. C’est typiquement un cas de détection d’objets en bord de ligne. Les familles YOLO mises en avant par OpenMV sont précisément adaptées à ce type de scénario.

2) Robot mobile qui évite ou suit une cible

Sans NPU, suivre une balle rouge ou une ligne noire est facile. Mais “suivre une personne”, “éviter un chariot”, “chercher un casque jaune” demande une vraie reconnaissance visuelle.

Avec NPU, la caméra peut repérer une catégorie d’objet dans l’image et renvoyer sa position au contrôleur moteur. OpenMV montre d’ailleurs des usages embarqués où la vision pilote un système externe.

3) Contrôle qualité visuel

Exemple : vérifier qu’un connecteur est bien assemblé, qu’une étiquette est présente, ou qu’un produit correspond au bon packaging.

Sans NPU, il faut écrire des règles à la main : seuils, gabarits, comparaison d’images. Ça marche si tout est très standardisé.

Avec NPU, vous pouvez entraîner un classifieur “bon / mauvais” ou “type A / type B / type C”. Le gros gain, c’est la robustesse aux variations réelles : orientation, éclairage, petites tolérances mécaniques. Le NPU rend ce type d’inférence assez rapide pour un usage embarqué.

4) Caméra de présence intelligente sur batterie

Une caméra classique détecte du mouvement. Mais “mouvement” ne veut pas dire “personne”. Un rideau, une ombre ou une branche peuvent déclencher une alerte.

Avec NPU, il est possible de faire une détection “personne / pas personne” localement. Résultat : moins de faux positifs et pas besoin d’envoyer tout le flux vidéo. Comme OpenMV vise des modules compacts et basse conso, c’est un très bon cas d’usage pour l’AE3.

5) Tri agricole ou logistique

Exemple : reconnaître une tomate mûre vs non mûre, une boîte conforme vs abîmée, un colis présent vs absent.

Sans NPU, les règles par couleur ou contour cassent vite quand le décor change.

Avec NPU, vous pouvez entraîner un modèle sur vos propres images, puis l’exécuter directement sur la caméra. Le modèle apprend les variations utiles au lieu de dépendre uniquement de seuils fixes. Le support OpenMV du chargement et de l’exécution de modèles TFLite est précisément prévu pour ce genre de pipeline.

Le NPU n’est pas toujours nécessaire. Pour :

- lire un QR code,

- détecter une couleur,

- suivre une ligne,

- détecter un AprilTag,

- faire du seuillage ou du blob tracking,

les algorithmes classiques d’OpenMV suffisent souvent et sont parfois plus simples à déployer. Le NPU devient intéressant quand la règle visuelle n’est plus facile à coder à la main. OpenMV continue d’ailleurs à proposer toute cette bibliothèque de vision classique à côté de l’IA.