WAIP — AI Powered WorkBench

Titre officiel, en italien : « WAIP — AI Powered WorkBench: banco di lavoro assistito da intelligenza artificiale con informazioni proiettate e riconoscimento della posizione delle mani ».

Objectif

WAIP (AI Powered WorkBench) est l'idée d'un établi de nouvelle génération : un système qui, par des informations projetées directement sur le plan de travail et la reconnaissance de la position des mains, assiste l'opérateur dans les opérations de construction, d'assemblage et de réparation, et en même temps suit les états d'avancement, avec des statistiques sur les temps et des photos des différentes phases.

C'est le projet qui marque une date : la vision artificielle appliquée au travail manuel, ici, date de 2021. Sur l'IA, nous ne sommes pas arrivés avec la vague de 2023 — nous y travaillions déjà.

Ce qui a été fait

Le prototype matériel réunit une caméra IA Luxonis OAK-D — traitement jusqu'à 4 TOPS, vision stéréo avec perception de la profondeur, suivi d'objets en 2D et 3D —, un projecteur compact Philips PicoPix et un Raspberry Pi 3B comme unité de calcul, montés sur une structure à bras au-dessus de l'établi. Pour maintenir les pièces alignées, les supports physiques des composants ont été modélisés et imprimés en 3D. Le logiciel a été développé en Python, avec une interface réalisée avec le framework Kivy, d'abord sous Windows puis porté sur Raspberry.

Le prototype logiciel simule un processus de production simple : configuration de l'environnement, instructions, contrôle des pièces, assemblage et contrôle final. Le système d'étalonnage projette le repère de la caméra sur celui de l'interface projetée : un curseur projeté suit l'index de l'opérateur, les boutons virtuels se pressent en touchant le plan, et quelques gestes — le signe de V avec l'index et le majeur — gouvernent la configuration. À la fin, un fichier Excel est généré automatiquement, avec les données statistiques et les photos de chaque itération.

Ce qui en est sorti

Le prototype s'est révélé complet et fonctionnel. Le rapport indique aussi les améliorations identifiées pour un usage en production : la reconnaissance des mains dans des conditions de lumière non optimales, la mise au point de la distance entre caméra et plan, et un système de projection plus lumineux et à meilleure focale.