GPT er ikke den eneste språkbehandlingsmodellen i byen.
AI-verktøy som ChatGPT har blitt utrolig populære siden de ble utgitt. Slike verktøy flytter grensene for naturlig språkbehandling (NLP), noe som gjør det lettere for AI å holde samtaler og behandle språk akkurat som en faktisk person.
Som du kanskje vet, er ChatGPT avhengig av Generative Pre-trained Transformer-modellen (GPT). Det er imidlertid ikke den eneste forhåndstrente modellen der ute.
I 2018 utviklet ingeniørene hos Google BERT (Bidirectional Encoder Representation from Transformers), en forhåndsopplært, dyp læringsmodell designet for å forstå konteksten til ord i en setning, slik at den kan utføre oppgaver som sentimentanalyse, svar på spørsmål og gjenkjennelse av navngitte enheter med høy nøyaktighet.
Hva er BERT?
BERT er en dyp læringsmodell utviklet av Google AI Research som bruker uovervåket læring for å forstå naturlige språkspørsmål bedre. Modellen bruker en transformatorarkitektur for å lære toveis representasjoner av tekstdata, noe som gjør at den bedre kan forstå konteksten til ord i en setning eller et avsnitt.
Dette gjør det lettere for maskiner å tolke menneskelig språk slik det snakkes i hverdagen. Det er viktig å nevne at datamaskiner historisk sett har funnet det vanskelig å behandle språk, spesielt å forstå konteksten.
I motsetning til andre språkbehandlingsmodeller, er BERT opplært til å utføre mer enn 11 vanlige NLP-oppgaver, noe som gjør det til et ekstremt populært valg i maskinlæringskretser.
Sammenlignet med andre populære transformatormodeller som GPT-3, har BERT en klar fordel: den er toveis og er som sådan i stand til å evaluere kontekst fra venstre til høyre og høyre til venstre. GPT-3.5 og GPT-4 tar kun hensyn til venstre til høyre kontekst, mens BERT henvender seg til begge.
Språkmodeller som GPT bruker ensrettet kontekst for å trene modellen, noe som tillater ChatGPT for å utføre flere oppgaver. Enkelt sagt analyserte disse modellene konteksten for tekstinndata fra venstre til høyre eller, i noen tilfeller, fra høyre til venstre. Imidlertid har denne ensrettede tilnærmingen begrensninger når det gjelder tekstforståelse, noe som forårsaker unøyaktigheter i genererte utdata.
I hovedsak betyr dette at BERT analyserer en setnings fullstendige kontekst før du gir et svar. Det er imidlertid relevant å nevne at GPT-3 ble trent på et betydelig større korpus av tekst (45TB) sammenlignet med BERT (3TB).
BERT er en maskert språkmodell
En viktig ting å vite her er at BERT er avhengig av maskering for å forstå konteksten til en setning. Når du behandler en setning, fjerner den deler av den og er avhengig av modellen for å forutsi og fullføre hullene.
Dette lar den "forutsi" konteksten, egentlig. I setninger hvor ett ord kan ha to forskjellige betydninger, gir dette maskerte språkmodeller en klar fordel.
Hvordan fungerer BERT?
BERT ble trent på et datasett på over 3,3 milliarder ord (avhengig av Wikipedia for opptil 2,5 milliarder ord) og BooksCorpus fra Google for 800 millioner ord.
BERTs unike toveiskontekst muliggjør samtidig behandling av tekst fra venstre til høyre og omvendt. Denne innovasjonen forbedrer modellens forståelse av menneskelig språk, slik at den kan forstå komplekse forhold mellom ord og deres kontekst.
Toveiselementet har posisjonert BERT som en revolusjonerende transformatormodell, som fører til bemerkelsesverdige forbedringer i NLP-oppgaver. Enda viktigere, det hjelper også med å skissere den rene dyktigheten til verktøy som brukes kunstig intelligens (AI) å behandle språk.
BERTs effektivitet er ikke bare på grunn av dens toveisfunksjonalitet, men også på grunn av hvordan den ble forhåndsopplært. BERTs pre-treningsfase omfattet to essensielle trinn, nemlig maskert språkmodell (MLM) og neste setningsprediksjon (NSP).
Mens de fleste førtreningsmetoder maskerer individuelle sekvenselementer, bruker BERT MLM for å tilfeldig maskere en prosentandel av input-tokens i en setning under trening. Denne tilnærmingen tvinger modellen til å forutsi de manglende ordene, og tar hensyn til konteksten fra begge sider av det maskerte ordet – derav toveis.
Så, under NSP, lærer BERT å forutsi om setning X virkelig følger inn i setning Y. Denne evnen trener modellen til å forstå setningsforhold og generell kontekst, som igjen bidrar til modellens effektivitet.
Finjustering av BERT
Etter foropplæring gikk BERT over til en finjusteringsfase, hvor modellen ble tilpasset ulike NLP-oppgaver, inkludert sentimentanalyse, navngitt enhetsgjenkjenning og spørsmålssvarssystemer. Finjustering innebærer overvåket læring, utnyttelse av merkede datasett for å forbedre modellytelsen for spesifikke oppgaver.
BERTs treningstilnærming anses som "universell" fordi den lar den samme modellarkitekturen takle forskjellige oppgaver uten behov for omfattende modifikasjoner. Denne allsidigheten er enda en grunn til BERTs popularitet blant NLP-entusiaster.
For eksempel brukes BERT av Google til å forutsi søk og til å plugge inn manglende ord, spesielt når det gjelder kontekst.
Hva brukes BERT vanligvis til?
Mens Google bruker BERT i sin søkemotor, har den flere andre applikasjoner:
Sentimentanalyse
Sentimentanalyse er en kjerneapplikasjon av NLP som omhandler klassifisering av tekstdata basert på følelsene og meningene som er innebygd i dem. Dette er avgjørende på en rekke felt, fra overvåking av kundetilfredshet til å forutsi aksjemarkedstrender.
BERT skinner i dette domenet, da det fanger den emosjonelle essensen av tekstinndata og forutsier nøyaktig følelsen bak ordene.
Tekstoppsummering
På grunn av sin toveis natur og oppmerksomhetsmekanismer, kan BERT forstå hver eneste tøff tekstlig kontekst uten å miste viktig informasjon. Resultatet er høykvalitets, sammenhengende oppsummeringer som nøyaktig gjenspeiler det betydelige innholdet i inndatadokumentene.
Navngitt enhetsgjenkjenning
Named entity recognition (NER) er et annet viktig aspekt ved NLP som tar sikte på å identifisere og kategorisere enheter som navn, organisasjoner og steder i tekstdata.
BERT er virkelig transformativ i NER-rommet, først og fremst på grunn av dens evne til å gjenkjenne og klassifisere komplekse enhetsmønstre – selv når de presenteres innenfor intrikate tekststrukturer.
Spørsmål-svare systemer
BERTs kontekstuelle forståelse og jording i toveis kodere gjør den dyktig til å trekke ut nøyaktige svar fra store datasett.
Det kan effektivt bestemme konteksten til et spørsmål og finne det mest passende svaret i teksten data, en funksjon som kan utnyttes for avanserte chatbots, søkemotorer og til og med virtuelle assistenter.
Maskinoversettelse via BERT
Maskinoversettelse er en viktig NLP-oppgave som BERT har forbedret. Transformatorarkitekturen og den toveis forståelsen av kontekst bidrar til å bryte barrierene for å oversette fra ett språk til et annet.
Mens de primært er fokusert på engelsk, kan BERTs flerspråklige varianter (mBERT) brukes på maskin oversettelsesproblemer for en rekke språk, åpner opp dører til mer inkluderende plattformer og kommunikasjon medier.
AI og maskinlæring fortsetter å flytte nye grenser
Det er liten tvil om at modeller som BERT endrer spillet og åpner nye forskningsveier. Men enda viktigere, slike verktøy kan enkelt integreres i eksisterende arbeidsflyter.
