Definition: Gestensteuerung bezeichnet die Bedienung digitaler Inhalte durch Bewegungen der Hände und Finger, ohne Controller, Maus oder Touchscreen. In XR-Headsets und an Kiosk-Terminals erfassen Kameras die Hände, Software erkennt daraus definierte Gesten wie Zeigen, Greifen oder Zusammendrücken von Daumen und Zeigefinger. So lassen sich 3D-Modelle drehen, zerlegen und auswählen.

Englisch: Gesture Control, Hand Gesture Interaction
Deutsch: Gestensteuerung, Gestenerkennung

Funktionsweise

Grundlage ist Hand Tracking, eine Form des Motion Trackings: Kameras im Headset oder über dem Bildschirm erfassen die Hand, ein Modell berechnet daraus die Lage der Gelenke. Die WebXR Hand Input Module (W3C) beschreibt dafür 25 Gelenkpunkte pro Hand. Aus der Pose leitet die Software Gesten ab:

  • Pinch: Daumen und Zeigefinger berühren sich – das Äquivalent zum Klick. Apple Vision Pro kombiniert ihn mit dem Blick: Der Nutzer schaut auf ein Element und tippt die Finger zusammen.
  • Grab: Die ganze Hand schließt sich, um ein Objekt zu greifen und zu verschieben.
  • Poke: Direktes Antippen virtueller Schaltflächen mit dem Zeigefinger.
  • Zeigen: Ein Strahl aus der Hand wählt entfernte Objekte aus.

Der offene Standard OpenXR stellt Gelenkdaten (XR_EXT_hand_tracking) und Standardgesten über Erweiterungen bereit, sodass Anwendungen auf Headsets verschiedener Hersteller laufen.

Bedeutung im Maschinenbau

  • Messe-Demos: Besucher setzen ein Headset auf und greifen sofort zu, ohne Tastenbelegung zu lernen. Es gibt keine Controller, die zwischen Nutzern gereinigt oder geladen werden müssen; das Headset selbst braucht weiterhin Hygienemaßnahmen.
  • Berührungslose Kiosk-Terminals: Eine Kamera am Bildschirm erkennt Handbewegungen in der Luft. Interessenten drehen ein Maschinenmodell, ohne eine gemeinsam genutzte Oberfläche anzufassen.
  • Service mit AR-Headset: Techniker blättern per Geste durch Anleitungen. Mit verschmutzten Händen oder dicken Schutzhandschuhen wird die Erkennung allerdings unzuverlässig; Sprachbefehle sind dann oft die bessere Ergänzung.
  • Schulung und Design Review: Für das Betrachten und Erklären genügen Gesten. Wo Präzision und haptische Rückmeldung zählen, bleiben VR-Controller im Vorteil.

Häufig gestellte Fragen (FAQ)

Wie zuverlässig ist Gestensteuerung?

Bei gutem Licht und freier Sicht auf die Hände sehr zuverlässig. Verdeckte Finger, schnelle Bewegungen und Handschuhe senken die Erkennungsrate. Vor dem Einsatz mit realen Nutzern und Lichtverhältnissen testen.

Brauche ich spezielle Hardware?

Aktuelle Standalone-Headsets und Mixed-Reality-Brillen erkennen Hände mit den eingebauten Kameras. Für Kiosk-Terminals gibt es nachrüstbare Kamera- und Tiefensensoren.

Verwandte Themen