ChatGPT er OpenAIs spillskiftende AI-chatbot som holder internett overrasket. Mot alle etablerte teknologitrender har det ikke tatt lang tid før ChatGPT har funnet veien til nesten alle områder av vårt digitale liv.
Svært få teknologiske innovasjoner har fått så mye interesse som ChatGPT har oppnådd på så kort tid. Det ser aldri ut til å gå tom for kule triks – hver dag lærer vi om spennende nye ting vi ikke visste at den kunne gjøre.
Men hvordan er ChatGPT i stand til å gjøre de tingene den kan gjøre? Hvordan fungerer ChatGPT?
Hvordan ble ChatGPT bygget?
For å forstå hvordan ChatGPT fungerer, er det verdt å se på opprinnelsen og hjernen bak den banebrytende AI-chatboten.
For det første, så magisk som ChatGPT kan virke, ble det bygget av geni av mennesker, akkurat som all verdifull programvareteknologi der ute. OpenAI opprettet ChatGPT, det revolusjonerende AI-forsknings- og utviklingsselskapet bak andre kraftige AI-verktøy som DALL-E, InstructGPT og Codex. Vi har svart tidligere
noen spørsmål du måtte ha om ChatGPT, så ta en titt.Mens ChatGPT gikk viralt mot slutten av 2022, har det meste av den underliggende teknologien som driver ChatGPT eksistert mye lenger, men med mye mindre publisitet. ChatGPT-modellen er bygget på toppen av GPT-3 (eller, mer spesifikt, GPT-3.5). GPT står for "Generative Pre-trained Transformer 3."
GPT-3 er den tredje iterasjonen av GPT-serien med AI-modeller og ble innledet av GPT-2 og GPT. Tidligere iterasjoner av GPT-modellene er like nyttige, men GPT-3 og den finjusterte GPT-3.5-iterasjonen er mye kraftigere. Det meste av det ChatGPT kan gjøre skyldes den underliggende GPT-3-teknologien.
Hva er GPT?
Så vi har slått fast at ChatGPT er bygget på tredje generasjon av GPT-modellen. Men hva er GPT likevel?
La oss starte med å pakke ut akronymene på en lettfordøyelig og ikke-teknisk måte.
- "Generativ" i GPT representerer dens evne til å generere naturlig menneskelig språktekst.
- "Pre-trained" representerer det faktum at modellen allerede har blitt trent på et begrenset datasett. Omtrent som om du ville lest en bok eller kanskje flere bøker før du ble bedt om å svare på spørsmål om den.
- "Transformatoren" representerer den underliggende maskinlæringsarkitekturen som driver GPT.
Nå, setter alt sammen, er Generative Pre-trained Transformer (GPT) en språkmodell som har vært trent ved å bruke data fra internett med sikte på å generere menneskespråklig tekst når den presenteres med en ledetekst. Så vi har gjentatte ganger sagt at GPT ble trent, men hvordan ble det trent?
Hvordan ble ChatGPT trent?
ChatGPT i seg selv ble ikke trent fra grunnen av. I stedet er det en finjustert versjon av GPT-3.5, som i seg selv er en finjustert versjon av GPT-3. GPT-3-modellen ble trent med en enorm mengde data samlet inn fra internett. Tenk på Wikipedia, Twitter og Reddit - det ble matet med data og menneskelig tekst skrapet fra alle hjørner av internett.
Hvis du lurer på hvordan GPT-trening fungerer, ble GPT-3 trent ved å bruke en kombinasjon av veiledet læring og forsterkningslæring gjennom menneskelig tilbakemelding (RLHF). Veiledet læring er stadiet der modellen trenes på et stort datasett med tekst som er skrapet fra internett. Forsterkningslæringsstadiet er der det trenes til å produsere bedre svar som stemmer overens med hva mennesker ville akseptert som både menneskelignende og korrekte.
Trening med veiledet læring
For bedre å forstå hvordan veiledet og forsterkende læring gjelder for ChatGPT, se for deg et scenario der en student blir lært opp til å skrive et essay av en lærer. Veiledet læring vil tilsvare at læreren gir studenten hundrevis av essays å lese. Målet her er at studenten skal lære hvordan et essay skal skrives ved å venne seg til tonen, vokabularet og strukturen i hundrevis av essays.
Imidlertid vil det være godt og dårlig blant de hundrevis av essays. Siden studenten ble opplært på både gode og dårlige kopier, noen ganger, kan studenten skrive et dårlig essay fordi studenten også ble matet med dårlige essays på et tidspunkt. Dette betyr at når studenten blir bedt om å skrive et essay, kan han skrive en kopi som ikke er akseptabel eller god nok for læreren. Det er her forsterkende læring kommer inn.
Trening med forsterkende læring
Når læreren fastslår at studenten forstår de generelle reglene for essayskriving ved å lese hundrevis av essays, vil læreren gi studenten hyppige essayskrivingslekser. Deretter ville læreren gi tilbakemelding på essayet som skrev lekser, og fortalte elevene hva de gjorde bra og hva de kunne forbedre. Studenten bruker tilbakemeldingene til å veilede lekser for påfølgende essayskriving, og hjelper studenten til å forbedre seg over tid.
Dette ligner på forsterkende læringsstadiet for opplæring av GPT-modellen. Etter å ha blitt matet med en enorm mengde tekst skrapet fra internett, kan modellen svare på spørsmål. Nøyaktigheten kommer imidlertid ikke til å være god nok. Menneskelige trenere stiller modellen et spørsmål og gir tilbakemelding på hvilket svar som passer best for hvert spørsmål.
Modellen bruker tilbakemelding for å forbedre sin evne til å svare mer nøyaktig på spørsmål og mer som hvordan et menneske ville reagere. Dette er hvordan ChatGPT kan generere menneskelignende svar som er både sammenhengende, engasjerende og generelt nøyaktige.
Hvordan er ChatGPT i stand til å svare på spørsmål?
Så du besøker ChatGPT-nettstedet og logger på. Du ber ChatGPT: "skriv en rapsang i stil med Snoop Dogg." Den svarer med tekster til en raplåt som ser slående lik ut som Snoop Dogg ville skrevet. Hvordan er dette mulig?
Vel, "magien" bak ChatGPT henger godt sammen med treningen.
Etter å ha dekket hver tomme av Physics 101-læreboken din, er det en god sjanse for at du vil være i stand til å svare på alle spørsmål fra den som blir kastet mot deg. Hvorfor? For du har lest den, og du har lært den. Det er det samme med ChatGPT – det lærer seg. Og som menneskelig sivilisasjon har vist, med nok trening, er det mulig å løse nesten alle problemer.
Mens du sannsynligvis kan administrere hundrevis av bøker i løpet av livet, har ChatGPT eller GPT allerede konsumert en stor del av internett. Det er en enorm mengde informasjon. Der inne, et sted, er sannsynligvis tekster til Snoop Doggs mange sanger. Så selvfølgelig må ChatGPT ha konsumert det (husk at det er forhåndstrent) og gjenkjent mønstre i Snoop Doggs tekster. Den ville da bruke en "kunnskap" om dette mønsteret for å "forutsi" tekster til en sang som ligner på det Snoop Dogg ville skrive.
Her er det lagt vekt på «forutsi». ChatGPT svarer ikke på spørsmål på samme måte som vi gjør som mennesker. For eksempel når du står overfor et spørsmål som "Hva er hovedstaden i Portugal?" du kan si Lisboa og si det for et «faktum». ChatGPT svarer imidlertid ikke på spørsmål med 100 % sikkerhet. I stedet prøver den å forutsi det riktige svaret gitt dataene den har konsumert i treningsdatasettet.
ChatGPTs tilnærming til å svare på spørsmål
For å bedre forstå konseptet med å forutsi svar, se for deg at ChatGPT er en detektiv som har i oppgave å løse et drap. Detektiven blir presentert for bevis, men de vet ikke hvem som begikk drapet og hvordan det skjedde. Men med nok bevis kan etterforskeren "forutsi" med stor nøyaktighet hvem som er ansvarlig for drapet og hvordan forbrytelsen ble begått.
Etter å ha konsumert data fra internett, forkaster ChatGPT de originale dataene og lagrer nevrale forbindelser eller mønstre den har lært fra dataene. Disse forbindelsene eller mønstrene er som bevis som ChatGPT analyserer når den prøver å svare på en forespørsel.
Så i teorien er ChatGPT som en veldig god detektiv. Den vet ikke sikkert hva fakta i et svar skal være, men den prøver, med imponerende nøyaktighet, for å forutsi en logisk sekvens av menneskelig språktekst som mest hensiktsmessig vil svare på spørsmål. Slik får du svar på spørsmålene dine.
Og dette er også grunnen til at noen av disse svarene ser veldig overbevisende ut, men er fryktelig feil.
ChatGPT: Svarer som et menneske, tenker som en maskin
De underliggende tekniske detaljene til ChatGPT er komplekse. Fra et rudimentært synspunkt fungerer det imidlertid ved å lære og reprodusere det det har lært når det blir bedt om det, akkurat som vi gjør som mennesker.
Ettersom ChatGPT utvikler seg gjennom forskning, kan måten det fungerer på, endre seg. Imidlertid vil dets grunnleggende arbeidsprinsipper forbli de samme en stund, i det minste inntil en forstyrrende ny teknologi kommer.
