Google gjør Lyra Low Bitrate Speech Codec offentlig

Google har gitt ut sin Lyra lydkodek beta-kildekode på GitHub, noe som gjør utrolig kvalitet med lav bitrate lydbehandling tilgjengelig for alle utviklere. Kodeken er mest nyttig i innebygde og båndbreddebegrensede situasjoner der så mye data må lagres som mulig.

Lyra: Nesten ingenting hørtes aldri så bra ut

Lydkodeken fungerer på prinsippet om å gi den mest naturlig lydende talen med lavest mulig datahastighet. Det lykkes med å skape nesten uhyggelige nivåer av lydgjengivelse med bithastigheter så lave som 3 kbps. Google bruker Lyra-komprimering i sanntid allerede i Duo-appen, selv om du ikke blir beskyldt for ikke engang å innse en forskjell fra vanlig båndbreddelyd.

For å demonstrere hvor mye bedre Lyra er enn andre kodeker, gir Google eksempler via en blogg innlegg sammenligne maskinlæringsdrevet kompresjonskodek med andre 3 og 6 kbps alternativer.

Det er en forskjell natt om dagen, og å gi utviklere verden over disse verktøyene vil være en viktig driver for å forbedre kommunikasjonskvaliteten der båndbredden er knapp. Det er også en utmerket motivator for utviklere som ønsker å lage nye apper i fremvoksende markeder, noe Google helt sikkert vil dekke i år

gratis virtuell Google I / O online konferanse.

Betakildekoden er for tiden designet med tanke på 64-biters Arm-enheter, selv om eksemplene også vil kjøre på 64-biters x86 Linux-systemer. Kildekoden er gitt fullstendig dokumentert, selv om den er i beta, og GitHub-siden inneholder installasjonsinstruksjoner og hvordan du bygger Lyra på Linux for Arm 64-bits mål.

For å få Lyra beta-kildekoden, gå til Lyra GitHub-side.

Hvordan fungerer Lyra?

Mens den faktiske prosessen Lyra bruker er en utrolig kompleks kombinasjon av maskinlæringsmodeller trent på tusenvis av timer med taledata og optimalisering av eksisterende lydkodek-teknologi, er teorien ganske enkel.

Hvert 40. sekund blir funksjonene hentet fra tale og komprimert ned til 3 kbps. Disse funksjonene representerer taleenergipunkter på tvers av frekvensspekteret nærmest menneskelig auditiv talesvar - de tingene vi trenger å gjenkjenne og forstå når noen snakker.

Den viktigste delen av det som gjør Lyra spesiell, er hvordan den bruker denne informasjonen:

Imidlertid tradisjonelle parametriske kodeker, som ganske enkelt trekker ut fra talekritiske parametere som da kan være brukes til å gjenskape signalet i mottakersiden, oppnå lave bithastigheter, men høres ofte robotaktig og unaturlig ut. Disse manglene har ført til utviklingen av en ny generasjon høykvalitets lydgenerative modeller som har revolusjonerte feltet ved å ikke bare kunne skille mellom signaler, men også generere helt nye de.

Etter overføring gjenoppbygger Lyra bølgeformen ved å fylle ut det som mangler ved hjelp av denne prosessen, mens det på en eller annen måte ikke er for beregningsmessig komplisert.

På den ene siden er det et teknologisk vidunder som vil løpe nesten hvor som helst. På den andre siden er jeg fortsatt ikke 100% overbevist om at det ikke er hekseri.

10 Google Duo-funksjoner du virkelig burde bruke

Google Duo er en av de beste appene for videosamtaler der ute. Den har mange funksjoner, og her er de som vi synes du virkelig burde bruke.

Les Neste

Om forfatteren