LipType: Neue System kann Lippen lesen

US-Forscher haben mit «LipType» ein System entwickelt, das Worte an den Lippenbewegungen erkennen soll. Damit wird die sichere Spracheingabe in einer lauten Umgebung und für Behinderte möglich. [...]

Laxmi Pandey (links), Ahmed Sabbir Arif (Mitte), Gulnar Rakhmetulla haben «Lip Type» entwickelt (c) UC Merced

Mit dem Lippenlesegerät «LipType» von Forschern der University of California in Merced können Behinderte und Gesunde mit Computern und anderen elektronischen Devices sicher kommunizieren. «Es gibt viele Missverständnisse, wenn Menschen sprachlich miteinander kommunizieren, insbesondere an lauten Orten oder bei Menschen mit Sprachbehinderungen. Aber LipType funktioniert bei jedem», so Entwickler Ahmed Sabbir Arif.

Gespräche belauschen

Arif zufolge ist LipType ideal für Personen, die sich in einem öffentlichen Raum befinden und Privates übermitteln wollen, ohne dass sie abgehört werden können. Mit dem Gerät können sie lautlos sprechen, indem sie die Worte mit den Lippen formen, ohne sie laut auszusprechen. Eine Kamera nimmt die Bewegungen auf, eine Software, die für jeden Anwender individuell trainiert werden muss, wertet die Bildfolgen aus und übersetzt sie in einen digitalen Code.

Dieser Code lässt sich in die Sprache des Geräts übersetzen, das bedient werden soll. In der Regel wird damit ein anderer Computer oder Mikroprozessor gefüttert, der die digitalisierten Wörter in Handlungsanweisungen umsetzt. Es ist auch denkbar, ein Gerät anzuschließen, das den Code wiederum in gesprochene Wörter umsetzt. Dann können Stumme verbal kommunizieren, sagen Arifs Schülerinnen Laxmi Pandey und Gulnar Rakhmetulla.

Sie sehen gerade einen Platzhalterinhalt von Standard. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf den Button unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Weitere Informationen

Tests erfolgreich absolviert

Um zu testen, ob LipType bei den Menschen ankommt, ging es in Tests darum, wie präzise die Umsetzung der Lippenbewegungen in eine digitale Sprache klappt und ob es schnell genug geht. Sowohl Studenten als auch andere Menschen sagten nach Abschluss der Versuche mehrheitlich, sie würden ein solches Gerät gern nutzen. «Menschen mit Behinderungen stehen oft im Abseits», sagt Arif. LipType biete ihnen die Möglichkeit, mobile und andere Geräte durch Spracheingabe genauso zu bedienen wie Nicht-Behinderte.

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Mehr Artikel

News

Bad Bots werden immer menschenähnlicher

Bei Bad Bots handelt es sich um automatisierte Softwareprogramme, die für die Durchführung von Online-Aktivitäten im großen Maßstab entwickelt werden. Bad Bots sind für entsprechend schädliche Online-Aktivitäten konzipiert und können gegen viele verschiedene Ziele eingesetzt werden, darunter Websites, Server, APIs und andere Endpunkte. […]

Frauen berichten vielfach, dass ihre Schmerzen manchmal jahrelang nicht ernst genommen oder belächelt wurden. Künftig sollen Schmerzen gendersensibel in 3D visualisiert werden (c) mit KI generiert/DALL-E
News

Schmerzforschung und Gendermedizin

Im Projekt „Embodied Perceptions“ unter Leitung des AIT Center for Technology Experience wird das Thema Schmerzen ganzheitlich und gendersensibel betrachtet: Das Projektteam forscht zu Möglichkeiten, subjektives Schmerzempfinden über 3D-Avatare zu visualisieren. […]

1 Comment

Leave a Reply

Your email address will not be published.


*