Cosa significa pollice in alto e mignolo? Spiegazione a portata di mano. "pollice su"

Riconoscimento della mano in tempo reale tramite la segmentazione delle dita

Il riconoscimento dei gesti manuali è molto importante per l'interazione uomo-computer. In questo lavoro presentiamo un nuovo metodo in tempo reale per il riconoscimento dei gesti in tempo reale. Nel nostro contesto, la regione della mano viene estratta dallo sfondo mediante sottrazione dello sfondo. Il palmo e le dita vengono quindi segmentati per rilevare e riconoscere le dita. Infine, viene utilizzato un classificatore di regole per prevedere le etichette delle mani. Inoltre, il nostro metodo mostra prestazioni migliori rispetto a metodo moderno per un set di dati di gesti diverso.

Come sappiamo, la tecnologia di riconoscimento dei gesti basata sulla visione è una parte importante dell’interazione uomo-computer. IN ultimi decenni La tastiera e il mouse svolgono un ruolo significativo nell'interazione uomo-computer. Un gesto è un simbolo di comportamento fisico o espressione emotiva. Include il gesto del corpo e il gesto della mano. Per il primo, la postura del corpo o il gesto della mano denotano il segno. Per questi ultimi, il movimento del corpo o della mano trasmette alcuni messaggi. È molto diverso dai metodi hardware tradizionali e consente l'interazione uomo-computer attraverso il riconoscimento dei gesti.

Il riconoscimento dei gesti determina l'intento dell'utente riconoscendo il gesto o il movimento del corpo o di parti del corpo. Negli ultimi decenni, molti ricercatori hanno cercato di migliorare la tecnologia di riconoscimento dei gesti delle mani. Cerchio interno di raggio massimo. Una volta trovata la punta del palmo, può disegnare un cerchio con la punta del palmo come punto centrale all'interno del palmo. Il cerchio è chiamato cerchio interno perché è compreso all'interno del palmo. Il raggio del cerchio aumenta gradualmente fino a raggiungere il bordo del palmo.

Cioè, il raggio del cerchio si ferma quando i cerchi neri sono inclusi nel cerchio. Il cerchio è il cerchio interno di raggio massimo, che nell'immagine è disegnato come un cerchio di colore rosso. Polso e palmo. Quando viene raggiunto il raggio del cerchio massimo interno, si ottiene un cerchio più grande il cui raggio è 2 volte il raggio del cerchio massimo interno. Il cerchio è disegnato come il cerchio blu nell'immagine. Quindi alcuni punti vengono selezionati uniformemente attorno al cerchio.

"pollice su"

Il punto in cui si trova il palmo corrisponde al raggio del cerchio ed è la fase di campionamento. Per ogni punto campione sul cerchio, viene trovato e allineato il punto di confine più vicino. La stima del punto di confine è semplice. Se gli 8 vicini di un pixel sono costituiti da pixel bianchi e neri, viene etichettato come punto di confine. Tutti i punti di confine più vicini trovati sono associati all'ottenimento di una maschera del palmo che può essere utilizzata per i segmenti del dito e del palmo. Il metodo di ricerca della maschera del palmo è descritto nell'algoritmo. La maschera della palma dell'immagine della mano è mostrata nell'immagine.

Viene utilizzato un cerchio più grande anziché un cerchio interno massimo per ottenere una maschera di palma più accurata per la successiva segmentazione. Due punti del polso: i due punti finali della linea del polso sulla parte inferiore del braccio. Gli occhiali da polso sono punti importanti per il riconoscimento dei gesti delle mani. È possibile ricercarli nel modo seguente: Se la distanza tra due punti di mascheratura consecutivi è ampia, tali due punti di mascheratura vengono valutati come punti del polso. Cioè dove sono i tanti punti della maschera del palmo e la distanza tra due punti.

Fare riferimento al disegno per il polso e la linea del polso. Rotazione manuale. Quando viene raggiunto il punto del palmo e del polso, può dare una freccia che punta dal punto del palmo al punto medio della linea del polso nella parte inferiore del braccio. Quindi l'ago viene regolato verso nord. L'immagine della mano viene ruotata in modo sincrono in modo che il gesto della mano sia invariante rispetto alla rotazione. Nel frattempo, le parti sotto la linea del polso nell'immagine ruotata vengono tagliate per produrre un'immagine accurata della mano che non copra la parte della spalla. Il disegno è un'immagine ruotata e ritagliata di una mano.

Dita e segmentazione delle dita. Usando la maschera palmare, le dita e il palmo possono essere facilmente segmentati. La parte della mano coperta dalla maschera palmare è il palmo, mentre le restanti parti sono le dita. Il risultato della segmentazione del dito e del palmo è mostrato nella figura. Nell'immagine del dito segmentato, viene utilizzato un algoritmo di etichettatura per etichettare le regioni del dito. Come risultato del metodo di etichettatura, le regioni rilevate in cui il numero di pixel è troppo piccolo vengono considerate regioni rumorose e scartate. Solo le aree di dimensioni sufficienti sono considerate dita e rimangono.

Per ogni regione rimanente, cioè un dito, si trova il riquadro di delimitazione minimo che racchiude il dito. Il riquadro di delimitazione minimo è indicato dal riquadro rosso nella figura. Il centro del riquadro di delimitazione minimo viene quindi utilizzato per rappresentare il punto centrale del dito.

La più importante delle dita

Rilevamento e riconoscimento delle dita. I centri delle dita sono disposti nel palmo. Vengono quindi calcolati i gradi tra queste linee e la linea del polso. Se il grado è inferiore a, significa che nell'immagine della mano appare il pollice. Il centro corrispondente è il punto centrale del pollice. Il pollice rilevato è contrassegnato da un numero. Se tutti i gradi sono maggiori, nell'immagine manca il pollice.

Pollice come indicatore di minaccia

Rilevamento e riconoscimento di altre dita. Per rilevare e riconoscere le altre dita, viene prima aperto il palmo. La linea del palmo è parallela alla linea del polso. La linea del palmo viene ricercata come segue: iniziare con la linea del polso. Per ogni linea, una linea parallela alla linea del polso attraversa il braccio. Se è presente un solo insieme connesso di pixel bianchi all'intersezione tra la linea e la mano, la linea si sposta verso l'alto. Quando sono presenti più serie connesse di pixel bianchi all'intersezione di una linea e di una mano, la linea è considerata candidata per una linea del palmo.

Nel caso in cui il pollice non venga rilevato, viene selezionata come linea del palmo una linea che interseca la mano con più serie collegate di pixel bianchi alla loro intersezione. Nel caso del pollice, la linea continua a muoversi verso l'alto, con il bordo del palmo puntato invece del pollice come punto di partenza della linea. Ora, poiché il pollice viene rimosso, c'è solo un insieme di pixel collegati all'intersezione della linea e della mano. Una volta che il set collegato di pixel bianchi torna ad essere 2, apparirà una palma. La ricerca della linea del palmo è mostrata nella figura.

Dopo aver ottenuto la linea palmare, questa viene divisa in 4 parti. Secondo la coordinata orizzontale del punto centrale del dito, cade in determinate parti. Se il dito colpisce la prima parte, è l'indice. Se il dito appartiene alla seconda parte, lo è dito medio. La terza parte corrisponde all'anulare. La quarta parte è il mignolo. Il risultato del riconoscimento del dito nella figura è mostrato in figura. Nella figura, la linea gialla rappresenta la linea del palmo e la linea rossa è parallela alla linea del polso.

In alcuni casi, due o più dita rimangono vicine e non c'è spazio tra le dita. Un caso di esempio è mostrato in figura. Per distinguere il caso a dito singolo, la larghezza del riquadro di delimitazione minimo viene utilizzata come metrica di discriminazione. Se la larghezza del riquadro di delimitazione minimo è uguale al valore normale, la regione rilevata è un dito. Se la larghezza del riquadro di delimitazione minimo è molte volte maggiore del valore normale, la regione rilevata corrisponde a più dita che rimangono vicine l'una all'altra.

Una volta rilevate e riconosciute le dita, il gesto della mano può essere riconosciuto utilizzando un semplice classificatore di regole. Nel classificatore di regole, il gesto della mano viene previsto in base al numero e al contenuto delle dita rilevate. Il contenuto del dito indica quali dita vengono rilevate. Il classificatore di regole è molto efficiente ed efficace. Ad esempio, se vengono rilevate tre dita, ovvero il medio, anulare e mignolo, il gesto della mano è classificato come etichetta 3.

Negli esperimenti vengono utilizzati due set di dati sui gesti delle mani per valutare l'efficacia del metodo proposto. Il set di dati 1 è un insieme di immagini di tredici gesti. Per ogni gesto vengono catturate 100 immagini. Tutte le immagini dei gesti si riferiscono a 3 donne e 4 uomini. Dimensioni dell'immagine di un gesto. Nella figura sono mostrati tredici gesti.

Un altro set di dati viene raccolto da 10 elementi e contiene 10 gesti per il numero 0. Il set di dati catturato su uno sfondo disordinato rappresenta una grande sfida per il riconoscimento dei gesti delle mani. Inoltre, per ogni gesto, il soggetto rappresenta variazioni di direzione manuale, scala, articolazione, ecc.

Valutazione delle prestazioni sul set di dati 1

Precisione della classificazione. Per misurare le prestazioni del metodo di riconoscimento dei gesti proposto, l'accuratezza della classificazione viene valutata attraverso esperimenti. Durante la fase di allenamento vengono create delle regole che definiscono i tredici gesti. Il classificatore di regole utilizza quindi le regole per prevedere l'identità dell'immagine di prova. Le figure,,,, e, dimostrano il riconoscimento di cinque gesti. Ciascuna figura ha sei sottofigure, ovvero immagini che mostrano rispettivamente l'immagine binaria della mano, la linea del palmo e del polso, l'immagine della mano calibrata, la maschera del palmo, le dita rilevate e il riconoscimento delle dita e dei gesti.