Accelerare l'inferenza Edge AI con la NPU Vitis AI sulle schede Versal AI Edge di iWave

L'intelligenza artificiale sull'edge (Edge IA) sta trasformando rapidamente il modo in cui i sistemi integrati elaborano e rispondono ai dati in tempo reale. Per soddisfare questa crescente domanda di intelligenza sull'edge, iWave Global ha integrato le NPU (unità di elaborazione neurale) Vitis AI nel System-on-Module (SoM) Versal™ AI Edge VE2302 e rispettiva piattaforma di valutazione.

Questa integrazione dimostra l'impegno di iWave nel fornire agli sviluppatori soluzioni di inferenza IA ad alte prestazioni, a basso consumo energetico e con latenza estremamente bassa. Basata sul SoM iW-RainboW-G57D, la piattaforma accelera carichi di lavoro di IA complessi, come il rilevamento di oggetti in tempo reale, offrendo Edge IA più vicina al punto in cui vengono generati i dati.

Vitis AI: portare accelerazione FPGA ai carichi di lavoro IA

Vitis AI è lo stack software di inferenza IA unificato di AMD progettato per piattaforme hardware basate su FPGA, inclusi i SoC Versal Adaptive. Consente la migrazione senza soluzione di continuità dei modelli di IA addestrati per GPU verso architetture FPGA, senza dover effettuare grandi modifiche.

Supportando framework di apprendimento profondo molto diffusi come TensorFlow, PyTorch, ONNX e Caffe, Vitis AI consente agli sviluppatori di distribuire reti neurali addestrate in modo efficiente su hardware ottimizzato per il parallelismo e il basso consumo energetico.

Il risultato è una pipeline di accelerazione IA che unisce la flessibilità dell'FPGA alle prestazioni degli acceleratori neurali specializzati, ideale per applicazioni edge con latenza critica.

Panoramica del sistema e configurazione demo

La dimostrazione live della NPU Vitis AI eseguita sul kit di valutazione VE2302 Versal AI Edge di iWave ne dimostra le capacità di rilevamento oggetti in tempo reale.

Componenti demo:

• Kit di sviluppo VE2302 Versal AI Edge di iWave
• Display HDMI
• Webcam USB per ingresso video in diretta
• Alimentatore 12 V/5 A e cavo di debug

Processo flusso di dati per l'inferenza IA

Il flusso di lavoro di inferenza IA su iW-RainboW-G57D sfrutta i moduli API VART X ed è strutturato per l'elaborazione in tempo reale. Viene creato uno script per eseguire l'applicazione NPU sul SoM. Questo script acquisisce il video utilizzando la telecamera USB e lo converte nel formato NV12. Il video convertito viene quindi elaborato dalla NPU e gli oggetti rilevati sono evidenziati sul display HDMI.

Il processo flusso di dati è il seguente:

Demo live in azione

Scopri il rilevamento degli oggetti in tempo reale con il SoM VE2302 Versal AI Edge! Guarda la demo mentre gli esperti di iWave mostrano l'inferenza IA utilizzando NPU IP per il rilevamento preciso ed efficiente degli oggetti.

Perché Versal AI Edge per l'Edge IA?

La famiglia Versal AI Edge di AMD combina in un unico chip logica programmabile, motori di IA e un sistema di elaborazione eterogeneo. Questa architettura consente la fusione sensoriale, l'analisi della visione e l'inferenza IA su un'unica piattaforma, mantenendo al contempo un controllo deterministico in tempo reale.

Le caratteristiche salienti includono:

• Motori di IA e motori DSP per carichi di lavoro di visione, radar e LiDAR
• MIPI nativa con supporto di una risoluzione fino a 8 MP
• Supporto in virgola mobile a precisione singola e mezza per diverse attività di elaborazione di segnali e IA

La combinazione di elaborazione IA con logica programmabile fornisce una base scalabile per un'ampia gamma di casi d'uso di Edge IA, dalla robotica all'automazione industriale.

Caratteristiche del System-on-Module Versal AI Edge di iWave

• Compatibile con dispositivi VE2302 / VE2202 / VE2102 / VE2002
• Processori dual core ARM Cortex-A72 e Cortex-R5F
• Fino a 328K celle logiche e 150K LUT
• 8 transceiver GTYP a 32 Gbps
• Fino a 8 GB di RAM LPDDR4 e 128 GB di storage eMMC
• Due connettori ad alta velocità a 240 pin per l'espansione
• Connettività: PCIe Gen4, Ethernet, USB 3.0

Compatto ma robusto, il SoM supporta Ethernet 40G, interfacce per fotocamere MIPI e 122 I/O configurabili, garantendo un'integrazione perfetta nei sistemi Edge IA che richiedono movimento di dati ad alta velocità e inferenza in tempo reale.

Applicazioni nel mondo reale

La NPU Vitis AI sul SoM Versal AI Edge di iWave dischiude nuove opportunità in molti settori:

• Videosorveglianza intelligente: riconoscimento facciale e di oggetti in tempo reale per il monitoraggio intelligente
• Automotive e ADAS: rilevamento ad alta velocità di segnali stradali e pedoni
• Automazione industriale: analisi sul dispositivo per il rilevamento dei difetti e la manutenzione predittiva
• Assistenza sanitaria: diagnostica per immagini e monitoraggio dei pazienti basati sull'IA
• Vendita al dettaglio intelligente: pagamento automatico e analisi dei clienti
• Città intelligenti: gestione adattiva del traffico mediante analisi video in tempo reale

La soluzione unisce l'elaborazione AI a elevato throughput all'efficienza energetica, garantendo prestazioni precise e in tempo reale in ambienti in cui anche i millisecondi sono importanti.

Fornire agli sviluppatori strumenti di Edge IA

iWave fornisce una suite completa di strumenti software, librerie e pacchetti di supporto per schede (BSP) per semplificare lo sviluppo IA sulle piattaforme Versal. Grazie al supporto per Vitis AI, OpenCV e allo sviluppo basato su Linux, gli sviluppatori possono distribuire, testare e ottimizzare i carichi di lavoro di IA più rapidamente.

Con il supporto di una documentazione completa, disponibilità a lungo termine (10 anni) e servizi di progettazione ODM, iWave garantisce ai clienti di poter passare dal prototipo alla produzione in tutta sicurezza.

iWave Global è un fornitore affidabile di soluzioni ingegneristiche, specializzato in servizi di progettazione di System-on-Module (SoM) basati su FPGA e ODM per i mercati industriale, automotive, medicale e della difesa. Forte di decenni di esperienza nel settore embedded, iWave porta l'innovazione attraverso piattaforme hardware affidabili, scalabili e ad alte prestazioni.

Per scoprire come il SoM Versal AI Edge possa alimentare la tua prossima innovazione IA, visita www.iwave-global.com o scrivi a mktg@iwave-global.com