Wird eine Gebärdensprachübersetzungs-App jemals Realität?

Werbung

Stellen Sie sich eine Welt vor, in der die Barrieren zwischen Gehörlosen und Gehörlosen verschwunden sind. Eine Welt, in der Gespräche zwischen denen, die Geräusche hören, und denen, die dies nicht tun, fließend fließen. Könnte diese Welt in naher Zukunft real werden?

Bereits im Juni entwickelte eine Gruppe von Marketingstudenten an der Berghs School of Communication ein Konzeptvideo für ein fiktives Produkt namens Google Gesture. Das Produkt enthielt ein tragbares Armband und eine mobile App, die mithilfe der Elektromyographie die Muskelbewegungen einer gehörlosen Person mit Gebärdensprache las. Das System leitete diese Signale dann an die App weiter, die diese Signale in eine digitalisierte Stimme übersetzte und für die Person sprach.

Das gefälschte Marketingvideo zu sehen war ziemlich aufregend. In der Tat so aufregend, dass große Tech-Sites wie Mashable, Slashgear und andere das Produkt ursprünglich als echt ankündigten und später die Behauptung wiedergeben und sich für ihren Fehler entschuldigen mussten. Es war ein seltsamer Fehler, wenn man bedenkt, dass es wirklich so ist

ist Ein Google-Produkt namens Google Gesten-Suche [Nicht mehr verfügbar], mit dem Sie Gesten auf Ihren mobilen Bildschirm zeichnen können, um Kontakte, Lesezeichen und mehr zu suchen.

Unabhängig davon präsentierte das Konzept der Berghs-Studenten eine bemerkenswerte Idee, die zu der Frage führte: Könnte es möglich sein, eine solche App wirklich zu erstellen?

Ist die Übersetzung der Gebärdensprache möglich?

Die Analyse des Marketingkonzepts auf technischer Ebene zeigt, dass die Technologie, die Elektromyographie (EMG) verwendet, um die Gebärdensprache zu „erfassen“, gar nicht so weit hergeholt ist. Bereits 2009, Forscher der University of Washington konnten mehrere EMG-Sensoren verwenden, um Muskelbewegungen zu dekodieren und in tatsächliche Arm- und Handgesten umzuwandeln.

Die Forscher bauten tatsächlich eine vollständige „Gestenerkennungsbibliothek“ auf, in der identifiziert wurde, welche Muskelsignale welche Geste repräsentierten. Die Forschung zeigt, dass diese Art von Technologie verfügbar und bereit ist, in der von den Berghs-Studenten geplanten Anwendung implementiert zu werden.

Hat das schon jemand erreicht? Wenn nicht, warum tut dies niemand und bietet Gehörlosen und Hörgeschädigten die Möglichkeit, mit jemandem auf der Welt über die Gebärdensprache zu kommunizieren?

Die Zukunft der Echtzeit-Übersetzungstechnologie

Die Wahrheit ist, dass tatsächlich jemand an einer solchen Echtzeit-Technologie zur Übersetzung von Gebärdensprachen arbeitet.

Es gibt eine Firma namens SpeechTrans [Broken URL Removed], die die Grenzen von überschritten hat Übersetzungstechnologien Vergessen Sie Google Translate: 3 Möglichkeiten für eine genaue und schnelle ÜbersetzungUnabhängig davon, ob Sie sich für eine Stelle oder eine Wohnung im Ausland bewerben möchten oder Ihre Webseite übersetzen möchten, müssen Sie auch mit einer Fremdsprache alles richtig machen. Weiterlesen in den vergangenen Jahren. SpeechTrans arbeitet mit Technologiepartnern zusammen, um einige der bemerkenswertesten Echtzeit-Sprachübersetzungsdienste auf dem heutigen Markt zu erstellen. Hierbei handelt es sich um Dienste, die Text-Chat in Text-Chat, Voice-in-Text und sogar Echtzeit-Voice-in-Voice-Sprachübersetzung über Mobiltelefon- und Desktop-Anwendungen übersetzen.

Um herauszufinden, ob eine Gebärdensprachentechnologie in naher Zukunft Realität werden könnte, setzte sich MakeUseOf mit John Frei, CEO von SpeechTrans, und Yan Auerbach, COO, zusammen, um über dieses bahnbrechende neue Produkt zu diskutieren Übersetzungstechnologie Verstehen Sie jede Sprache mit diesen 5 Websites für SprachübersetzungenDie Technologie hat die Welt kleiner gemacht. Menschen aus allen Teilen dieses Planeten verwenden viele der gleichen Tools, besuchen einige der gleichen Websites und mischen sich online in verschiedenen Chatrooms. Das... Weiterlesen und wie weit es in die Zukunft hinausgehen könnte.

Entwicklung einer Gebärdensprachübersetzungs-App

MUO: Ist es möglich, die Art von Gebärdensprache für die Sprachübersetzung zu verwenden, die die Berghs-Schüler in diesem Google Gesture-Konzeptvideo dargestellt haben?

John: Ich würde sagen, dass die Technologie verfügbar ist, um das zu entwickeln. Wir arbeiten derzeit mit Microsoft und Intel zusammen, um einige der Technologien zu untersuchen, die sie in Bezug auf Hardware und Software herausbringen. Wir stellen uns vor, mit dieser Technologie die Gebärdensprache zu erkennen und diese dann in Sprach- und Audioausgabe umzuwandeln.

MUO: Sie arbeiten gerade aktiv an der Entwicklung dieser Technologie?

Yan: Es gab also einen Kunden, der unsere Software verwendete, und dachte, es wäre wunderbar, wenn wir sie so modifizieren könnten, dass hörgeschädigte Menschen sie verwenden können Telefonieren Sie über unsere App, um ohne Gebärdensprache persönlich zu kommunizieren oder ohne einen TTY-Dienst für das Telefon Anrufe. Wir haben dieses Produkt entwickelt und mit Mitteln von Microsoft und Intel SpeechTrans für Hörgeschädigte unter Windows 8.1 eingeführt, wodurch die Notwendigkeit einer Gebärdensprache entfällt.

MUO: Wie funktioniert die "persönliche" App?

Yan: Es gibt einen Hörmodus und einen Eingabemodus. Wenn also jemand mit Ihnen spricht, aktivieren Sie den Hörmodus und geben alles ein, was er auf dem Bildschirm im Text sagt. Wenn Sie dann antworten, tippen Sie es aus und dann spricht es laut aus, was Sie tippen. Mit dem Telefon wählen Sie einfach die Telefonnummer einer Person. Wenn diese den Anruf entgegennimmt, wird dies zu einer Sofortnachricht. Was auch immer sie sprechen, Sie erhalten als IM. Dann wird alles, was Sie eingeben, laut über das Telefon ausgesprochen. Das ist die erste Phase.

In naher Zukunft Gebärdensprachübersetzung

MUO: Welche Technologien können die Menschen in naher Zukunft erwarten? Was ist die nächste Phase?

John: Wir stellen uns vor, dass jemand, der nur die Gebärdensprache verwenden kann, dies vor einem Gerät wie einem Telefon, einem PC oder einem Laptop tun kann. Intel hat ein neues Kamerasystem und Microsoft auch das Kinect, das die Gestenerkennung übernimmt.

MUO: Wie ist das besser als das Armbandkonzept der Berghs-Studenten?

Yan: Grundsätzlich wird unsere so funktionieren, dass Sie nichts auf Ihren Arm legen müssen. Es werden 64 Punkte auf Ihrer Hand erkannt. Wir verwenden die Beta-Version der RealSense-Kamera von Intel. So können wir nicht nur die gesamte Gebärdensprache und mehrere verschiedene Dialekte der Gebärdensprache erkennen, sondern auch Sie können auch Emotionen, Mimik und andere kleine Nuancen erkennen und diese dann in gesprochene Wörter umwandeln Gut.

Dafür müssen Sie keine Handschuhe oder ähnliches tragen. Wir konzentrieren uns speziell auf diesen Markt, weil wir nur Menschen im Allgemeinen helfen möchten. Wir möchten nicht nur Menschen helfen, die in vielen verschiedenen Sprachen sprechen möchten, sondern auch Menschen, die in keiner Sprache sprechen können. Die Technologie existiert und es gibt keinen Grund, warum ihre Lebensqualität anders sein sollte als unsere.

John: Es ist ein praktikables Konzept. Es ist nur eine andere Eingabe und Ausgabe. Einige der Gespräche, die wir mit Microsoft über einige der zukünftigen Technologien geführt haben, sind dort, wo Jemand könnte tatsächlich einen Mikrochip in seinen Hals implantieren, der direkt die Gehirnwelle liest Muster. Wenn Sie also Menschen helfen, die nicht kommunizieren können, sehen wir so etwas tatsächlich als Phase-3-Bereitstellung.

Letztes Jahr gab es eine Gruppe von Studenten, die einen funktionierenden Prototyp eines Handschuhs herausbrachten, der an einen Computer angeschlossen war. Die Gesten, die Sie mit dem Handschuh gemacht haben, werden dann erkannt und in Gebärdensprache umgewandelt. Sie haben also bereits die Fähigkeit mit der aktuellen Technologie.

Unsere Vision ist es, dass wir nicht wirklich Accessoires wie die Armbänder herstellen möchten, die Sie anlegen müssen. Es sollte für sie [Menschen, die Gebärdensprache sprechen] nur natürlich und frei fließend sein, dies vor ihrer Videokamera zu tun. 90% von dem, was Menschen in der Kommunikation sagen, ist tatsächlich in ihrer Körpersprache. Wenn wir auf Gesichtserkennung, Gesten und Emotionen zugreifen können, können wir diese Daten als verwenden gut, um sicherzustellen, dass die Übersetzung und das, was sie zu vermitteln versuchen, rechts ausgedrückt wird bilden.

MUO: Befindet sich Intel innerhalb der 5-Jahres-Reichweite dieser Gebärdenspracherkennungstechnologie?

John: Intel verfügt definitiv über viele Ressourcen. Ihre Technologie und ihre Software kommen in einem Tempo voran, in dem wir dies ziemlich schnell erreichen können.

MUO: Haben Sie einen Zeitrahmen für die Markteinführung dieser Technologie?

John: Für die Gebärdensprache sind es ungefähr 12 bis 18 Monate.

MUO: Hat sonst noch jemand so etwas für die Übersetzung von Gebärdensprachen?

John: Ich habe ein YouTube-Video von IBM gesehen, in dem ein Prototyp mit Gebärdensprache erstellt wurde, aber es war ein Proof of Concept und es wurden nur drei oder vier Wörter erkannt. Wir haben über fünfhunderttausend Wörter, mit denen wir es einführen möchten, damit es auf eine ganz andere Ebene gebracht wird.

Fazit

Die Vision, die sich die Studenten von Berghs ausgedacht haben, wird möglicherweise nicht zur Gebärdensprachübersetzungs-App der Zukunft, aber das bedeutet nicht, dass ein solches Konzept nicht umgesetzt wird. Die Arbeit von SpeechTran, Intel und Microsoft beweist, dass die Übersetzung von Gebärdensprachen mit ziemlicher Sicherheit innerhalb weniger Jahre zu einer echten Technologie wird. Es handelt sich höchstwahrscheinlich nicht um umständliche Armbänder, sondern lediglich um eine spezielle Videokamera und eine mobile App.

Durch die Magie der Gesten- und Gesichtserkennung verspricht diese Gebärdensprachübersetzungs-App der Zukunft, die zwischenmenschliche Kommunikation für Hunderttausende von Menschen vollständig zu revolutionieren hörgeschädigt 5 Beste Ressourcen für Benutzer von Mac- und Apple-Geräten mit Behinderungen Weiterlesen oder schwerhörige Menschen auf der ganzen Welt.