Wie und warum Mikrocontroller helfen können, den Zugang zu Edge-KI zu demokratisieren

In den letzten Jahren hat KI immer mehr an Popularität gewonnen. Es wird erwartet, dass der zugehörige Weltmarkt bis 2035 mit einer durchschnittlichen jährlichen Wachstumsrate von 27,8 % auf einen Nettowert von 356,84 Mrd. USD anwächst.

Diese Nachfrage wird durch eine Reihe von Faktoren angeheizt. Durch die Verarbeitung von Daten am Netzwerkrand (Edge) werden Sicherheitsbedenken ausgeräumt, die Unternehmen bei der Weiterleitung sensibler oder geschützter Daten in die Cloud haben könnten. Die Edge-Verarbeitung verringert auch die Latenzzeit, was bei Echtzeitanwendungen, bei denen Entscheidungen in Sekundenbruchteilen getroffen werden müssen, von Bedeutung sein kann. Industrielle IoT-Geräte (IIoT) liefern datengesteuerte Abläufe, die wiederum die Anwendungsfälle für Edge-KI erweitern. Schnell wachsende Implementierungen - von tragbaren medizinischen Geräten bis hin zu Wearables und IIoT - treiben den Markt für KI am Netzwerkrand an.

Da die Technologie immer beliebter wird, steigt auch die Nachfrage nach Komponenten, die für die Datenverarbeitung in eingebetteten Systemen geeignet sind.

Möglichkeiten zur Datenverarbeitung: Mikrocontroller oder Mikroprozessoren

Die überwiegende Mehrheit der IoT-Geräte, die heute in industriellen und anderen eingebetteten Geräten eingesetzt werden, sind Geräte mit geringem Stromverbrauch und sehr wenig Speicher. Die Verarbeitungsleistung stammt von kleinen eingebetteten Mikrocontrollern (MCUs). Diese MCUs haben eine stromsparende Architektur, die es ermöglicht, dass die eingebetteten Systeme wesentlich kostengünstiger sind als solche mit Mikroprozessoren.

Bis zum Aufkommen der Edge-KI haben MCUs die Verarbeitungsanforderungen von IoT-Geräten gut erfüllt. Herkömmliche MCUs können jedoch in der Regel nicht die Rechenleistung bereitstellen, die für komplexere maschinelle Lernalgorithmen benötigt wird, die das Markenzeichen von Edge-KI-Anwendungen sind. Solche Algorithmen laufen in der Regel auf Grafikverarbeitungseinheiten (GPUs) und Mikroprozessoren, die über mehr Rechenleistung verfügen. Die Verwendung dieser Komponenten bringt jedoch auch Nachteile mit sich, unter anderem den Stromverbrauch. Mikroprozessoren oder GPUs sind nicht die energieeffizientesten Lösungen. Daher ist mikroprozessorgesteuertes Edge-Computing möglicherweise nicht für alle Edge-KI-Anwendungen die beste Lösung, und die Anbieter setzen stattdessen auf MCUs.

Eigenständige MCUs sind preiswerter als GPUs und Mikroprozessoren. Um KI zu skalieren, müssen die Vorteile von MCUs - geringe Kosten und niedriger Stromverbrauch - genutzt und gleichzeitig die Rechenleistung erhöht werden.

Im Laufe der Jahre sind einige Faktoren zusammengekommen, die die Fähigkeiten von MCUs in den Randbereichen verbessern.

Was begünstigt den Einsatz von MCUs in den Randbereichen?

Während bisher allgemein davon ausgegangen wurde, dass die herkömmliche MCU zu leichtgewichtig für die KI-bezogene Datenverarbeitung ist, fördern Veränderungen sowohl im Design der MCU als auch im breiteren Technologie-Ökosystem deren Einsatz in Edge-KI-Anwendungsfällen.

Zu diesen Faktoren gehören:

• Die Integration von KI-Beschleunigern in MCUs: Wenn die MCU allein nicht in der Lage ist, die Anforderungen des Edge-Computing zu erfüllen, kann durch die Integration eines KI/ML-Beschleunigers wie einer neuronalen Verarbeitungseinheit (NPU) oder eines digitalen Signalprozessors (DSP) die Leistung verbessert werden.

  Die CPUs der STM32N6-Serie (Abbildung 1) von STMicroelectronics basieren beispielsweise auf dem Arm-Cortex-M55, der mit 800 MHz läuft. Die Arm-Helium-Vektorverarbeitungstechnologie bringt DSP-Verarbeitungsfähigkeiten auf eine Standard-CPU. Der STM32N6 ist die erste STM32-MCU, in die der Neural-ART-Accelerator von ST integriert ist, eine selbst entwickelte NPU, die für leistungsstarke KI-Anwendungen entwickelt wurde.

Abbildung 1: Der STM32N6 ist die erste STM32-MCU, in die der ST Neural-ART-Accelerator integriert ist, eine eigens entwickelte neuronale Verarbeitungseinheit (NPU), die für energieeffiziente Edge-KI-Anwendungen konzipiert wurde. (Bildquelle: STMicroelectronics)

• Optimierte KI-Modelle für den Edge-Bereich: Leistungsstarke KI- und maschinelle Lernalgorithmen können nicht einfach auf MCUs übertragen werden. Sie müssen für begrenzte Computerressourcen optimiert werden. Kompakte KI-Architekturen wie TinyML und MobileNet bieten genau das in Verbindung mit Optimierungstechniken, so dass selbst MCUs am Rande des Systems KI-Algorithmen ausführen können. STMicroelectronics hat STM32Cube.AI auf den Markt gebracht, eine Softwarelösung, die ein neuronales Netzwerk in optimierten C-Code für STM32-MCUs umwandelt. Die Verwendung der Lösung in Verbindung mit dem STM32N6 trägt dazu bei, dass die für Edge-KI-Anwendungen erforderliche Leistung trotz der Einschränkungen bei Verarbeitung und Speicher gewährleistet ist.

• Der Aufstieg von KI-Ökosystemen: Es reicht nicht aus, nur eine Hardwarekomponente zu haben, die KI-bezogene Daten am Rande verarbeiten kann. Die Ausführung von KI-Algorithmen im Edge-Bereich erfordert entwicklerfreundliche Ökosysteme, die die KI-Bereitstellung erleichtern. Spezielle Tools wie TensorFlow Lite für Mikrocontroller helfen bei der Bereitstellung solcher Lösungen. Open-Source-Communities wie Hugging Face und andere Plattformen bieten bereits trainierte Modelle und Code-Bibliotheken an, die Entwickler testen und für ihre spezifischen Anwendungsfälle anpassen können. Solche KI-Ökosysteme senken die Hürden für die Einführung der Technologie und ermöglichen einen demokratischen Zugang auch für Unternehmen mit knappen Ressourcen, die nicht in der Lage sind, eigene KI-Modelle von Grund auf zu entwickeln.

  STMicroelectronics verfügt über ein speziell zugeschnittenes Hardware- und Software-Ökosystem, die ST Edge AI Suite, für optimierte Edge-KI-Lösungen. Die Suite konsolidiert viele der KI-Bibliotheken und -Tools von ST, um Entwicklern die Suche nach Modellen, Datenquellen, Tools und Compilern zu erleichtern, die Code für den Mikrocontroller generieren können.

  Vorgefertigte Modelle in einem Modell-Zoo bieten einen Ausgangspunkt für Entwickler. Diese Modelle verwenden das ONNX-Format (Open Neural Network Exchange), einen offenen Standard zur Darstellung von Modellen für maschinelles Lernen in Bereichen wie computerbasierte Bildverarbeitung (CV), Verarbeitung natürlicher Sprache (NLP), generative KI (GenAI) und maschinelles Graphenlernen.

• Codes für Standardisierung und Interoperabilität: Während KI-Ökosysteme Unternehmen dabei geholfen haben, KI-Anwendungsfälle zu testen, haben offene und standardisierte Modellformate die nahtlose Integration über Hardwaresysteme hinweg unterstützt. Die Kompatibilität zwischen Software-Tools und MCUs hat dazu beigetragen, die Hürden für Edge-KI-Implementierungen zu verringern.
• Aufmerksamkeit für Sicherheit am Netzwerkrand: Während MCUs die Verarbeitung von Daten in der Cloud überflüssig machen oder zumindest verringern, bieten die Hardwarekomponenten zusätzliche Sicherheitsebenen. Sie umfassen in der Regel Funktionen wie Hardware-Verschlüsselung und sicheres Booten, die sowohl Daten als auch KI-Modelle vor böswilligen Akteuren schützen.

Bemerkenswerte Eigenschaften der STM32N6-Hardware

Die STM32N6-Serie umfasst eine Hochleistungs-MCU mit einer NPU, ein Kameramodul-Bundle und ein Discovery-Kit. Die Serie verwendet eine typische ARM-Cortex-M-Architektur und verfügt über mehrere Schlüsselfunktionen, die diese Geräte für KI am Netzwerkrand geeignet machen. Zu diesen zählen:

• Neural ART Accelerator, der Modelle neuronaler Netze ausführen kann. Er ist für intensive KI-Algorithmen optimiert, mit 1 GHz getaktet und bietet 600 GOPS bei einer durchschnittlichen Energieeffizienz von 3 TOPS/W.
• Unterstützung für „Helium“-MPVE-Befehle (M-Profile Vector Extension), eine Reihe von ARM-Befehlen, die leistungsstarke neuronale Netzwerke und DSP-Funktionen ermöglichen. Diese Befehle sind zum Beispiel für 16-Bit- und 32-Bit-Gleitkommazahlen ausgelegt, so dass sie auch Zahlen mit geringer Genauigkeit effizient verarbeiten können. Diese sind wichtig für die Verarbeitung von ML-Modellen.
• ST Edge AI Suite, eine Sammlung kostenloser Software-Tools, Anwendungsfälle und Dokumentationen, die Entwicklern aller Erfahrungsstufen bei der Entwicklung von KI für den intelligenten Netzwerkrand helfen. Die Suite umfasst auch Tools wie die ST Edge AI Developer Cloud, die spezielle neuronale Netze im STM32-Modellzoo, eine Boardfarm für reale Benchmarks und mehr bietet.
• Fast 300 konfigurierbare Multiplikations-Akkumulationseinheiten und zwei 64-Bit-AXI-Speicherbusse für einen Durchsatz von 600 GOPS.
• Integrierter spezieller Bildsignalprozessor (ISP), der direkt mit mehreren 5-Megapixel-Kameras verbunden werden kann. Bei der Entwicklung von Systemen, die Kameras enthalten, müssen die Entwickler den ISP auf einen bestimmten CMOS-Kamerasensor und dessen Objektiv abstimmen. Das Tuning erfordert in der Regel spezielles Fachwissen oder die Hilfe Dritter. ST stellt Entwicklern zu diesem Zweck eine spezielle Desktop-Software namens iQTune zur Verfügung. Diese Software, die auf einer Linux-Workstation läuft, kommuniziert mit dem eingebetteten Code auf dem STM32 und analysiert die Farbgenauigkeit, die Bildqualität und die Statistiken und konfiguriert die Register des ISP in geeigneter Weise.
• Unterstützt MIPI CSI-2, die beliebteste Kamera-Schnittstelle für mobile Anwendungen, ohne dass ein externer ISP erforderlich ist, der mit dieser speziellen seriellen Kamera-Schnittstelle kompatibel ist.
• Viele zusätzliche Funktionen auf einem einzigen Gerät bedeuten, dass Entwickler jetzt ein neuronales Netzwerk in Verbindung mit einer grafischen Benutzeroberfläche ausführen können, ohne mehrere MCUs verwenden zu müssen.
• Robuste Sicherheit, einschließlich Zertifizierungen gemäß Target SESIP Level 3 und PSA Level 3.

Fazit

Für Anwendungen des maschinellen Lernens, die am Rande des Netzwerks ausgeführt werden, waren bisher leistungsstarke Mikroprozessoren in eingebetteten Systemen erforderlich, um die Last der Ausführung komplexer Algorithmen zu tragen. Dank leistungsfähiger MCUs wie den CPUs der STM33N6-Serie von STMicroelectronics können Unternehmen jetzt KI am Netzwerkrand demokratisieren. STMicroelectronics liefert ein komplettes Ökosystem für die KI-Implementierung am Netzwerkrand, einschließlich der Software- und Hardwarekomponenten für die Inferenzierung.