Come superare le sfide insite nello sviluppo di interfacce utente coinvolgenti per il metaverso

Il mix di realtà aumentata (AR), realtà virtuale (VR) e realtà estesa (XR) del metaverso si sta rapidamente affermando in una serie di applicazioni consumer, medicali, Impresa 4.0 e altro ancora. La sfida per la comunità dei progettisti è quella di identificare e applicare le tecnologie che renderanno l'esperienza dell'utente il più possibile fluida e coinvolgente. Ad esempio, per capire l'ambiente circostante e la posizione e il movimento dell'utente al suo interno servono tecnologie come il rilevamento 3D. Altre tecnologie comprendono interfacce uomo-macchina (HMI) come il tracciamento della mano, il riconoscimento dei gesti e l'audio ad alta fedeltà.

Vediamo brevemente alcune delle sfide da superare quando si sviluppano esperienze utente coinvolgenti e immersive, tra cui la necessità di prestazioni in tempo reale, fattori di forma compatti ed efficienza energetica. Forniremo poi alcune soluzioni di Analog Devices che possono essere di aiuto, compresi sensori tridimensionali (3D) in grado di supportare le interazioni degli utenti con dispositivi AR, VR e XR nel metaverso, amplificatori audio di Classe D compatti ed efficienti per audio di qualità elevata e schede di valutazione per accelerare il processo di sviluppo.

Cosa c'è nella stanza?

Per rilevare, misurare e seguire gli oggetti nell'ambiente si possono utilizzare imager VCSEL (laser a cavità verticale a emissione superficiale ad alta risoluzione con il software ToF (tempo di volo). Serviranno un riproduttore immagini con risoluzione VGA, la capacità di operare in varie condizioni di illuminazione, diverse modalità di rilevamento della distanza per una maggiore precisione e il software e gli algoritmi di analisi 3D appropriati. Questi imager hanno bisogno di una frequenza di 30 fps e di una precisione di misurazione della distanza superiore al 2% (Figura 1).

Figura 1: Persone e oggetti possono essere tracciati utilizzando immagini basate su VCSEL con risoluzione VGA. (Immagine per gentile concessione di Analog Devices, tramite OnElectronTech.com)

HMI di riconoscimento dei gesti

Con una modifica del software, è possibile utilizzare lo stesso imager VCSEL per il riconoscimento dei gesti se dispone di una modalità operativa ravvicinata in grado di catturare i movimenti della mano tra circa 25 e 80 cm e di un processore veloce in tempo reale. La maggior parte delle persone utilizza già una forma di riconoscimento dei gesti con i touchscreen. È possibile sviluppare interfacce personalizzate di riconoscimento dei gesti per supportare applicazioni come la manutenzione industriale, le procedure mediche e gli ambienti di gaming.

Misurazione del movimento

In alcune circostanze, è essenziale misurare il movimento relativo, come la direzione in cui l'utente guarda e se muove la testa o cammina in una direzione specifica. A tale scopo, per comprendere il movimento rotatorio e l'accelerazione dell'utente è possibile utilizzare in combinazione un'unità di misurazione inerziale (IMU) miniaturizzata di sistemi microelettromeccanici (MEMS) con sei gradi di libertà (DoF), un giroscopio e un accelerometro (Figura 2).

Figura 2: L'uso congiunto di un giroscopio (sinistra) e di un accelerometro (destra) può fornire informazioni su movimento e posizione. (Immagine per gentile concessione di Analog Devices)

Gli accelerometri MEMS possono misurare l'accelerazione dinamica e statica (risposta alla gravità) lungo gli stessi tre assi ortogonali che definiscono gli assi di rotazione del giroscopio, migliorando ulteriormente le informazioni sul movimento.

Audio efficiente e immersivo

Per fornire il contesto e il riscontro necessari per una HMI coinvolgente e immersiva può essere richiesto un audio di alta qualità che sia anche, nella maggior parte dei casi, estremamente efficiente dal punto di vista energetico. A tal fine, è possibile affidarsi alla più recente tecnologia degli amplificatori di Classe D, che offre una qualità audio di Classe AB ad alta efficienza ed è conforme alla norma EN55022B per le interferenze elettromagnetiche (EMI).

Kit per modulo videocamera

AD-FXTOF1-EBZ può fornire una piattaforma hardware per la percezione della profondità ToF 3D per il rilevamento di oggetti e il riconoscimento dei gesti. La soluzione ha una risoluzione VGA e una frequenza di 30 fps. È in grado di funzionare in condizioni di forte illuminazione ambiente e presenta portate di rilevamento da 25 a 80 cm e da 30 a 300 cm con una precisione superiore al 2% (Figura 3).

Figura 3: Il modulo videocamera AD-FXTOF1-EBZ ha una risoluzione VGA e una frequenza di 30 fps. Può fornire una piattaforma hardware per la percezione della profondità ToF 3D per il rilevamento di oggetti e il riconoscimento dei gesti. (Immagine per gentile concessione di Analog Devices)

Quando è abbinato a una scheda processore, AD-FXTOF1-EBCZ può essere utilizzato per lo sviluppo di algoritmi e software 3D. Viene fornito un kit di sviluppo software (SDK) nativo e host che comprende OpenCV, Python, MATLAB, Open3D e wrapper RoS per semplificare lo sviluppo delle applicazioni.

IMU e scheda di sviluppo

Quando occorre rilevare direzione e movimento, ci si può affidare alla IMU basata su MEMS di precisione ADIS16500AMLZ. Include un giroscopio da ±2000 dps, un accelerometro da ±40 g e il condizionamento del segnale necessario per ottenere prestazioni ottimali. Ogni sensore è completamente calibrato in fabbrica utilizzando formule di compensazione dinamica per garantire il funzionamento in varie condizioni.

È possibile utilizzare la scheda di breakout ADIS16500/PCBZ per accelerare lo sviluppo di applicazioni IMU (Figura 4). La scheda include la IMU e una basetta a 16 pin che si accoppia con cavi a nastro da 2 mm. I cavi possono essere lunghi fino a 20 cm per la connessione con una scheda di sviluppo di sistema.

Figura 4: La scheda di breakout ADIS16500/PCBZ per la IMU basata su MEMS di precisione ADIS16500AMLZ facilita lo sviluppo delle applicazioni. (Immagine per gentile concessione di Analog Devices)

Soluzione audio

MAX98304EWL+T è un amplificatore mono di Classe D da 3,2 Watt, con un'efficienza del 93%, in un contenitore da 1 x 1 mm che fornisce efficientemente prestazioni audio di Classe AB. Grazie all'utilizzo di una modulazione a spettro diffuso e di un circuito di controllo della velocità attivo che limita le emissioni, l'amplificatore non richiede filtri o schermature esterne per soddisfare le limitazioni EMI della norma EN55022B.

Il kit di valutazione MAX98304EVKIT+ associato fornisce una scheda completamente assemblata e testata che funziona con ingressi differenziali o a terminazione singola e può erogare 3,2 W in un carico di 4 Ω.

Conclusione

Per accelerare lo sviluppo di interfacce HMI compatte, efficienti e coinvolgenti per il metaverso, sono disponibili diversi componenti, piattaforme di valutazione e kit di sviluppo. Fra queste vi sono videocamere basate su VCSEL per la consapevolezza della situazione e il riconoscimento dei gesti, moduli IMU per la consapevolezza del movimento e amplificatori di Classe D per supportare un audio efficiente.