Vil en oversettelsesapp for tegnspråk noensinne bli en realitet?

Annonse

Se for deg en verden der barrierer mellom døve og hørsel er borte. En verden der samtaler flyter flytende blant de som hører lyd, og de som ikke gjør det. Kan den verden bli ekte i nær fremtid?

Tilbake i juni utviklet en gruppe markedsføringsstudenter ved Berghs School of Communication en konseptvideo for et fiktivt produkt kalt Google Gesture. Produktet inkluderte et bærbart håndleddsbånd og en mobilapp som brukte elektromyografi for å lese muskelbevegelsene til en døve som gjorde tegnspråk. Systemet sendte deretter signalene til appen, som oversatte signalene til en digitalisert stemme og ville tale for personen.

Det var ganske spennende å se den falske markedsføringsvideoen. Så spennende, faktisk, at store teknologiske nettsteder som Mashable, Slashgear og andre opprinnelig kunngjorde produktet som ekte, og deretter senere måtte fortelle påstanden og be om unnskyldning for deres feil. Det var en merkelig feil, med tanke på at det virkelig er et Google-produkt som heter Google Gesture Search [No Longer Available], som lar deg tegne bevegelser på mobilskjermen for å søke i kontakter, bokmerker og mer.

Uansett presenterte Berghs studenters konsept en bemerkelsesverdig idé, noe som førte til spørsmålet - kan det være mulig å lage en slik app på ekte?

Er det å oversette tegnspråk mulig?

Å dissekere markedsføringskonseptet på et teknisk nivå avslører at teknologien som bruker elektromyografi (EMG) for å "føle" tegnspråk ikke egentlig er så langt i det hele tatt. Så langt tilbake som i 2009, forskere fra University of Washington kunne bruke flere EMG-sensorer for å avkode muskelbevegelser og konvertere dem til faktiske arm- og håndbevegelser.

Forskerne bygde faktisk et komplett "gestgjenkjennelsesbibliotek", som identifiserte hvilke muskelsignaler som representerte hvilken gest. Forskningen beviser at denne typen teknologi er tilgjengelig og klar til å implementeres i den slags applikasjon Berghs studenter så for seg.

Så har noen faktisk oppnådd dette ennå? Hvis ikke, hvorfor er det ingen som gjør det og gi døve og hørselshemmede muligheten til å kommunisere med noen i verden gjennom tegnspråk?

Future of Realtime Translation Technology

Sannheten er at noen faktisk jobber med slik sanntids oversettelsesteknologi for tegnspråk.

Det er et selskap som heter SpeechTrans [Broken URL Removed], som har presset grensene for oversettelsesteknologier Glem Google Translate: 3 måter å få en nøyaktig, rask oversettelse påEnten du planlegger å søke jobb eller leilighet i utlandet, eller ønsker å oversette websiden din, må du få ting riktig selv med et fremmed språk. Les mer i de senere år. SpeechTrans samarbeider med teknologipartnere for å produsere noen av de mest bemerkelsesverdige sanntidsoversettelsestjenestene på markedet i dag. Dette er tjenester som oversetter tekstprat til tekstprat, tale til tekst og til og med sanntids tale-til-stemme-oversettelse via mobiltelefon og stasjonære applikasjoner.

For å utforske om en tegnspråksteknologi kan bli en realitet i nærmeste fremtid, satte MakeUseOf seg ned med SpeechTrans administrerende direktør John Frei og COO Yan Auerbach for å diskutere denne banebrytende nye oversettelsesteknologi Forstå ethvert språk med disse 5 språkoversettelsesnettstedeneTeknologi har gjort verden til et mindre sted. Mennesker fra alle deler av denne planeten bruker mange av de samme verktøyene, besøker noen av de samme nettstedene og blander seg i forskjellige chatterom på nettet. De... Les mer og hvor langt ut i fremtiden det kan være.

Utvikle en app for oversettelse av tegnspråk

MUO: Er det mulig å gjøre den slags tegnspråk til taleoversettelse som Berghs studenter skildret i denne Google Gesture-konseptvideoen?

John: Jeg vil si at teknologien er tilgjengelig for å utvikle det. Vi jobber for tiden med Microsoft og Intel for å utforske noen av teknologiene de kommer ut med, når det gjelder maskinvare og programvare. Vi ser for oss muligheten til å bruke denne teknologien til å gjenkjenne tegnspråk og deretter konvertere den til tale- og lydutgang.

MUO: Du jobber aktivt med å utvikle den teknologien akkurat nå?

Yan: Så det var en kunde som brukte programvaren vår, og syntes det ville være fantastisk hvis vi kunne endre den slik at mennesker som er hørselshemmede kan bruke den til ringe fra appen vår, for å kommunisere uten behov for tegnspråk når de er i person, eller uten behov for en TTY-tjeneste for telefon samtaler. Vi utviklet det produktet, og med finansiering fra Microsoft og Intel lanserte vi SpeechTrans for hørselshemmede på Windows 8.1, som fjerner behovet for tegnspråk.

MUO: Hvordan fungerer “in-person” -appen?

Yan: Det er en lyttemodus, og det er en inndatamodus. Så når noen snakker til deg, bruker du lyttemodus, og det skriver ut alt de sier på skjermen i tekst. Så når du svarer tilbake, skriver du det ut og så snakker det høyt hva du skriver. Med telefonen ringer du bare telefonnummeret til enhver person, og når de svarer på telefonen, blir det som en øyeblikkelig melding. Uansett hva de snakker, så får du som direktemeldingstjeneste. Deretter blir det du snakker høyt talt gjennom telefonen. Det er den første fasen.

Nær fremtid Oversettelse av tegnspråk

MUO: Hvilke teknologier kan folk forvente å se i løpet av en nær fremtid? Hva er neste fase?

John: Vi ser for oss - for en som bare har muligheten til å bruke tegnspråk - for å kunne gjøre det foran en enhet som en telefon, PC eller bærbar PC. Intel har et nytt kamerasystem, og Microsoft gjør det like bra med Kinect, som gjør bevegelsesgjenkjenning.

MUO: Hvordan er dette bedre enn armbåndkonseptet fremsatt av Berghs studenter?

Yan: I utgangspunktet kommer vår til å jobbe på en måte der det ikke krever at du legger noe på armen. Den vil kjenne igjen 64 poeng på hånden din. Vi bruker beta-versjonen av Intels RealSense-kamera. Så ikke bare vil vi være i stand til å gjenkjenne alt tegnspråket og flere forskjellige dialekter av tegnspråk, men vi kommer til å gjøre det også være i stand til å gjenkjenne følelser, ansiktsuttrykk og andre små nyanser og deretter konvertere det til talte ord som vi vil.

Det krever ikke at du bruker hansker eller noe. Vi fokuserer spesielt på det markedet fordi vi bare liker å hjelpe mennesker generelt. Vi ønsker ikke bare å hjelpe folk som vil snakke på mange forskjellige språk, men vi vil også hjelpe folk som ikke kan snakke på noe språk. Teknologien eksisterer, og det er ingen grunn til at livskvaliteten deres skal være annerledes enn vår.

John: Det er et gjennomførbart konsept. Det er bare en annen inngang og utdata. Noen av samtalene vi har hatt med Microsoft om noen av fremtidens teknologier, er hvor noen kan faktisk implantere en mikrobrikke i nakken, og den leser direkte hjernebølgen deres mønstre. Så hvis du hjelper folk som ikke kan kommunisere, ville vi faktisk se noe sånt som en fase tre-distribusjon.

I fjor var det en gruppe studenter som kom ut med en fungerende prototype av en hanske som var koblet til en datamaskin. Bevegelsene du lagde med hansken, vil da bli gjenkjent og konvertert til tegnspråk. Så de har allerede muligheten med dagens teknologi.

Visjonen vår er at vi ikke virkelig ønsker å lage tilbehøret som armbåndene du må ta på. Det skal bare være naturlig og fritt rennende for dem [folk som gjør tegnspråk] å gjøre det foran videokameraet. 90% av hva folk sier i kommunikasjon, er faktisk på kroppsspråket deres. Når vi kan få tilgang til ansiktsgjenkjenning, bevegelser og følelser, kan vi bruke disse dataene som vel å sørge for at oversettelsen og hva de prøver å formidle kommer til uttrykk i retten danne.

MUO: Er Intel innen det 5 år det har tegnet språkgjenkjenningsteknologi?

John: Intel har definitivt mange ressurser tilgjengelig. Teknologien og programvaren deres kommer i et tempo der vi kan få dette til å skje ganske raskt.

MUO: Har du en tidsramme for når du håper å få denne teknologien ut i markedet?

John: For tegnspråket er det omtrent 12 til 18 måneder.

MUO: Har noen andre der ute noe annet som oversettelse av tegnspråk?

John: Jeg så en YouTube-video av IBM som gjorde en prototype der noen holdt på tegnspråk, men det var et bevis på konsept, og den hadde bare tre eller fire ord som den kjente seg igjen i. Vi har over fem hundre tusen ord som vi planlegger å rulle det ut med, så det kommer til å ta det til et helt annet nivå.

Konklusjon

Selv om visjonen som studentene på Berghs drømte om kanskje ikke blir fremtidens oversettelsesapp for tegnspråk, betyr det ikke at et slikt konsept ikke vil skje. Det arbeidet som ble gjort på SpeechTran, Intel og Microsoft beviser er at oversettelse av tegnspråk nesten er sikker på å bli en ekte teknologi i løpet av få år. Det vil sannsynligvis ikke involvere tungvint armband, men i stedet bare noe annet enn et spesielt videokamera og en mobilapp.

Gjennom magien med gester og ansiktsgjenkjenning, løfter denne tegnspråklige oversettelsesappen for å fullstendig revolusjonere mellommenneskelig kommunikasjon for hundretusener av hørselshemmet 5 beste ressurser for brukere av Mac og Apple-enheter med funksjonshemming Les mer eller tunghørte mennesker over hele verden.