Gesichtserkennung als Kommunikationsmittel: Wenn Zwinkern mehr als ein Emoji ist [Netzfund]

Gesichtserkennung als Kommunikationsmittel: Wenn zwinkern mehr als ein Emoji ist [Netzfund]
Quelle: Jay Zhang | Unsplash
Seit Beginn der Pandemie hat sich die Arbeitswelt zunehmend remote organisiert. So arbeiteten bis zu 27 Prozent der Beschäftigten im Homeoffice. Diese neue Arbeitssituation brachte ganz eigene Herausforderungen mit sich, wie auch der junge Vater hinter dem Synonym »everythingishacked« erfahren musste. Schunkeln, wiegen, schlafen – sein Kind hatte ihn und seine Hände fest im Griff. Daraufhin erfand der findige Programmierer »CheekyKeys« – die erste handlose Gesichtserkennungstastatur der Welt.

Gesichtserkennung macht CheekyKeys zum Erfolg

Bevor »everythingishacked« sich an die Programmierung der Gesichtserkennungstastatur setzte, probierte er allerhand andere Gadgets aus. Die Spracherkennungssoftware scheiterte allerdings kläglich am gerade eingeschlafenen Baby und die Eye-Tracking-Maus in Kombination mit einer Bildschirmtastatur war dem ehrgeizigen Entwickler zu ungenau. Nicht so CheekyKeys. Die Gesichtserkennungstastatur erwies sich als perfekte Lösung.

Sie lässt sich in zwei Funktionsbereiche gliedern. Im ersten Funktionsbereich wird durch Öffnen und Schließen des Mundes ein Morsecode ausgeführt. Dieser transkribiert die Mundbewegungsmuster in vorher definierte Buchstaben. Im zweiten Funktionsbereich können mit Gesten verschiedene Funktionstasten genutzt werden. Ein Augenzwinkern auf der rechten Seite wird beispielsweise als »Shift« definiert. Die Nutzung der Hände zum Bedienen der Tastatur wird damit vollends überflüssig.

Gesichtserkennungssoftware von MediaPipe als Schlüssel zum Erfolg

Auf dem Weg zur erstrebten Genauigkeit gab es naturgemäß einige Komplikationen und Rückschritte. So stellte sich heraus, dass Zwinkern zum Morsen ungeeignet ist, da zu langes Zwinkern den eigenen Gedankenfluss unterbricht. Beim Mund als Morsewerkzeug angekommen, hatten die zuerst genutzten Softwares ein zu ungenaues Face-Mesh.

Mittlerweile verwendet CheekyKeys jedoch das Face-Mesh des Machine-Learning-Systems MediaPipe sowie OpenCV. Dadurch wird eine Echtzeiterkennung von Gesichtsmerkmalen innerhalb der Videoeingabe ermöglicht. Somit können Unterschiede bezüglich der Gesichtsmerkmale berechnet werden. Diese Unterschiede werden als vorher definierte Gesten erkannt und als Eingabebefehl über die Tastatur gesendet, schreibt der Entwickler auf GitHub. Die aktuelle Version 0.1 ist vor allem auf die Gesichtszüge von »everythingishacked« programmiert. Allerdings seien individuelle Anpassungen leicht vorzunehmen, so der Tüftler weiter.

Digitale Gesichtserkennung als Schlüssel zum handlosen Programmieren?

Um CheekyKeys einem Praxistest zu unterziehen, nahm »everythingishacked« sogar noch an einem Job-Interview samt Programmieraufgabe teil, wie auf seinem YouTube-Channel zu sehen ist. Für den Job hat es dann allerdings noch nicht gereicht. Alles in allem ist CheekyKeys ohne Training noch etwas langsam, aber der Entwickler hatte sichtlich Freude daran. Was haltet ihr von CheekyKeys? Schreibt es uns gern in die Kommentare und sagt uns, ob Ihr die handlose Tastatur benutzen würdet. 😉

(8 Bewertung(en), Schnitt: 5,00 von 5)
Loading...