Store språkmodeller (LLMs) er den underliggende teknologien som har drevet den hastige økningen av generative AI-chatbots. Verktøy som ChatGPT, Google Bard og Bing Chat er alle avhengige av LLM-er for å generere menneskelignende svar på forespørsler og spørsmål.

Men hva er LLM-er, og hvordan fungerer de? Her satte vi ut for å avmystifisere LLM-er.

Hva er en stor språkmodell?

I sine enkleste termer er en LLM en massiv database med tekstdata som kan refereres til for å generere menneskelignende svar på spørsmålene dine. Teksten kommer fra en rekke kilder og kan utgjøre milliarder av ord.

Blant vanlige kilder til tekstdata som brukes er:

  • Litteratur: LLM inneholder ofte enorme mengder samtidslitteratur og klassisk litteratur. Dette kan inkludere bøker, poesi og skuespill.
  • Innhold på nett: En LLM vil oftest inneholde et stort lager av nettinnhold, inkludert blogger, nettinnhold, forumspørsmål og -svar og annen netttekst.
  • Nyheter og aktuelle saker: Noen, men ikke alle, LLM-er kan få tilgang til aktuelle nyhetsemner. Enkelte LLM-er, som GPT-3.5, er begrenset i denne forstand.
  • Sosiale medier: Sosiale medier representerer en enorm ressurs av naturlig språk. LLM-er bruker tekst fra store plattformer som Facebook, Twitter og Instagram.

Selvfølgelig er det én ting å ha en enorm database med tekst, men LLM-er må trenes til å forstå det for å produsere menneskelignende svar. Hvordan det gjør dette er det vi dekker videre.

Hvordan fungerer LLM-er?

Hvordan bruker LLM-er disse depotene til å lage sine svar? Det første trinnet er å analysere dataene ved hjelp av en prosess som kalles dyp læring.

Dyplæring brukes til å identifisere mønstre og nyanser i menneskelig språk. Dette inkluderer å få en forståelse av grammatikk og syntaks. Men viktigst av alt, det inkluderer også kontekst. Å forstå kontekst er en avgjørende del av LLM-er.

La oss se på et eksempel på hvordan LLM-er kan bruke kontekst.

Spørringen i bildet nedenfor nevner å se en flaggermus om natten. Fra dette forsto ChatGPT at vi snakket om et dyr og ikke for eksempel et baseballballtre. Selvfølgelig liker andre chatbots Bing Chat eller Google Bard kan svare helt annerledes på dette.

Det er imidlertid ikke ufeilbarlig, og som dette eksemplet viser, vil du noen ganger måtte oppgi tilleggsinformasjon for å få ønsket svar.

I dette tilfellet kastet vi bevisst litt av en kurveball for å demonstrere hvor lett kontekst går tapt. Men mennesker kan også misforstå konteksten til spørsmål, og det trenger bare en ekstra melding for å korrigere svaret.

For å generere disse svarene bruker LLM-er en teknikk som kalles naturlig språkgenerering (NLG). Dette innebærer å undersøke input og bruke mønstrene som er lært fra datalageret for å generere en kontekstuelt korrekt og relevant respons.

Men LLM-er går dypere enn dette. De kan også skreddersy svar for å passe den emosjonelle tonen i innspillet. Når de kombineres med kontekstuell forståelse, er de to fasettene hoveddriverne som lar LLM-er skape menneskelignende svar.

For å oppsummere bruker LLM-er en massiv tekstdatabase med en kombinasjon av dyp læring og NLG-teknikker for å lage menneskelignende svar på spørsmålene dine. Men det er begrensninger for hva dette kan oppnå.

Hva er begrensningene for LLM-er?

LLM-er representerer en imponerende teknologisk prestasjon. Men teknologien er langt fra perfekt, og det er fortsatt mange begrensninger for hva de kan oppnå. Noen av de mer bemerkelsesverdige av disse er listet opp nedenfor:

  1. Kontekstuell forståelse: Vi nevnte dette som noe LLM-er inkorporerer i svarene sine. Imidlertid får de det ikke alltid rett og er ofte ute av stand til å forstå konteksten, noe som fører til upassende eller rett og slett feil svar.
  2. Partiskhet: Eventuelle skjevheter i treningsdataene kan ofte være tilstede i svar. Dette inkluderer skjevheter mot kjønn, rase, geografi og kultur.
  3. Sunn fornuft: Sunn fornuft er vanskelig å kvantifisere, men mennesker lærer dette fra en tidlig alder ved å se verden rundt dem. LLM-er har ikke denne iboende erfaringen å falle tilbake på. De forstår bare hva som har blitt levert til dem gjennom treningsdataene deres, og dette gir dem ikke en sann forståelse av verden de eksisterer i.
  4. En LLM er bare så god som treningsdataene: Nøyaktighet kan aldri garanteres. Det gamle dataordtaket "Garbage In, Garbage Out" oppsummerer denne begrensningen perfekt. LLM-er er bare så gode som kvaliteten og kvantiteten på treningsdataene deres tillater dem å være.

Det er også et argument for at etiske bekymringer kan betraktes som en begrensning av LLM, men dette emnet faller utenfor denne artikkelens omfang.

3 eksempler på populære LLM-er

Den fortsatte fremgangen til AI er nå i stor grad underbygget av LLM-er. Så selv om de ikke akkurat er en ny teknologi, har de absolutt nådd et kritisk momentum, og det er nå mange modeller.

Her er noen av de mest brukte LLM-ene.

1. GPT

Generative Pre-trained Transformer (GPT) er kanskje den mest kjente LLM. GPT-3.5 driver ChatGPT-plattformen som brukes for eksemplene i denne artikkelen, mens den nyeste versjonen, GPT-4, er tilgjengelig gjennom et ChatGPT Plus-abonnement. Microsoft bruker også den nyeste versjonen i sin Bing Chat-plattform.

2. LaMDA

Dette er den første LLM som brukes av Google Bard, Googles AI chatbot. Versjonen Bard opprinnelig ble rullet ut med ble beskrevet som en "lite" versjon av LLM. Den kraftigere PaLM-iterasjonen av LLM erstattet dette.

3. BERT

BERT står for Bi-directional Encoder Representation fra Transformers. De toveis karakteristikkene til modellen skiller BERT fra andre LLM-er som GPT.

Mange flere LLM-er er utviklet, og avleggere er vanlige fra de store LLM-ene. Etter hvert som de utvikler seg, vil disse fortsette å vokse i kompleksitet, nøyaktighet og relevans. Men hva vil fremtiden bringe for LLM-er?

LLMs fremtid

Disse vil utvilsomt forme måten vi samhandler med teknologi i fremtiden. Det raske opptaket av modeller som ChatGPT og Bing Chat er et bevis på dette faktum. På kort sikt, AI vil neppe erstatte deg på jobben. Men det er fortsatt usikkerhet om hvor stor rolle i livene våre disse vil spille i fremtiden.

Etiske argumenter kan ennå ha noe å si for hvordan vi integrerer disse verktøyene i samfunnet. Men sett dette på en side, inkluderer noen av de forventede LLM-utviklingene:

  1. Forbedret effektivitet:Med LLM-er som har hundrevis av millioner av parametere, er de utrolig ressurssultne. Med forbedringer i maskinvare og algoritmer vil de sannsynligvis bli mer energieffektive. Dette vil også forkorte responstidene.
  2. Forbedret kontekstbevissthet:LLM-er er egentrening; jo mer bruk og tilbakemeldinger de får, jo bedre blir de. Viktigere er at dette er uten ytterligere større ingeniørarbeid. Etter hvert som teknologien utvikler seg, vil dette se forbedringer i språklige evner og kontekstuell bevissthet.
  3. Opplært for spesifikke oppgaver: The Jack-of-all-trade-verktøyene som er det offentlige ansiktet til LLM-er er utsatt for feil. Men etter hvert som de utvikler seg og brukere trener dem for spesifikke behov, kan LLM-er spille en stor rolle innen felt som medisin, juss, finans og utdanning.
  4. Større integrasjon: LLM-er kan bli personlige digitale assistenter. Tenk på Siri på steroider, så skjønner du. LLM-er kan bli virtuelle assistenter som hjelper deg med alt fra å foreslå måltider til å håndtere korrespondansen din.

Dette er bare noen av områdene der LLM-er sannsynligvis vil bli en større del av måten vi lever på.

LLMs transformerer og utdanner

LLM-er åpner for en spennende verden av muligheter. Den raske fremveksten av chatbots som ChatGPT, Bing Chat og Google Bard er bevis på ressursene som strømmes inn i feltet.

En slik spredning av ressurser kan bare se at disse verktøyene blir kraftigere, mer allsidige og nøyaktige. De potensielle bruksområdene til slike verktøy er enorme, og for øyeblikket skraper vi bare i overflaten av en utrolig ny ressurs.