Hva er GPT4All og hvordan fungerer det?

OpenAIs GPT-modeller har revolusjonert naturlig språkbehandling (NLP), men med mindre du betaler for premium tilgang til OpenAI sine tjenester, vil du ikke kunne finjustere og integrere deres GPT-modeller i applikasjoner. Videre vil OpenAI ha tilgang til alle samtalene dine, noe som kan være et sikkerhetsproblem hvis du bruker ChatGPT for forretninger og andre mer sensitive områder av livet ditt. Hvis du ikke er opptatt av dette, kan det være lurt å prøve ut GPT4All.

Så hva er egentlig GPT4All? Hvordan fungerer det, og hvorfor bruke det over ChatGPT?

Hva er GPT4All?

GPT4All er et åpen kildekode-økosystem som brukes til å integrere LLM-er i applikasjoner uten å betale for et plattform- eller maskinvareabonnement. Den ble opprettet av Nomic AI, et informasjonskartografiselskap som har som mål å forbedre tilgangen til AI-ressurser.

GPT4All er designet for å kjøre på moderne til relativt moderne PC-er uten å trenge en internettforbindelse eller til og med en GPU! Dette er mulig siden de fleste av modellene levert av GPT4All har blitt kvantisert til å være så små som noen få gigabyte, og krever bare 4–16 GB RAM for å kjøre.

Dette lar mindre bedrifter, organisasjoner og uavhengige forskere bruke og integrere en LLM for spesifikke applikasjoner. Og med GPT4All som enkelt kan installeres gjennom et ett-klikks installasjonsprogram, kan folk nå bruke GPT4All og mange av sine LLM-er for innholdsskaping, skriving av kode, forståelse av dokumenter og informasjon samling.

Hvorfor bruke GPT4ALL over ChatGPT?

Det er flere grunner til at du kanskje vil bruke GPT4All over ChatGPT.

• Portabilitet: Modeller levert av GPT4All krever bare fire til åtte gigabyte med minnelagring, krever ikke en GPU for å kjøre, og kan enkelt lagres på en USB-flash-stasjon med GPT4All ett-klikks installasjonsprogrammet. Dette gjør GPT4All og modellene virkelig bærbare og brukbare på omtrent alle moderne datamaskiner der ute.
• Personvern og sikkerhet: Som forklart tidligere, med mindre du har tilgang til ChatGPT Plus, er alle dine ChatGPT-konverteringer tilgjengelige av OpenAI. GPT4All er fokusert på datatransparens og personvern; dataene dine vil bare bli lagret på din lokale maskinvare med mindre du med vilje deler dem med GPT4All for å hjelpe til med å utvide modellene deres.
• Frakoblet modus: GPT er en proprietær modell som krever API-tilgang og en konstant internettforbindelse for å søke etter eller få tilgang til modellen. Hvis du mister en internettforbindelse eller har et serverproblem, har du ikke tilgang til ChatGPT. Dette er ikke tilfelle med GPT4All. Siden all data allerede er lagret på en fire til åtte gigabyte pakke, og konklusjon gjøres lokalt, trenger du ikke en internettforbindelse for å få tilgang til noen modeller i GPT4All. Du kan fortsette å chatte og finjustere modellen din selv uten internettforbindelse.
• Gratis og åpen kildekode: Flere LLM-er levert av GPT4All er lisensiert under GPL-2. Dette lar hvem som helst finjustere og integrere sine egne modeller for kommersiell bruk uten å måtte betale for lisensiering.

Hvordan GPT4All fungerer

Som diskutert tidligere, er GPT4All et økosystem som brukes til å trene og distribuere LLM-er lokalt på datamaskinen din, noe som er en utrolig bragd! Vanligvis vil lasting av en standard 25-30 GB LLM ta 32 GB RAM og en GPU av bedriftskvalitet.

For å sammenligne krever LLM-ene du kan bruke med GPT4All bare 3 GB-8 GB lagringsplass og kan kjøre på 4 GB–16 GB RAM. Dette gjør det mulig å kjøre en hel LLM på en edge-enhet uten behov for en GPU eller ekstern skyassistanse.

Maskinvarekravene for å kjøre LLM-er på GPT4All har blitt betydelig redusert takket være kvantisering av nevrale nettverk. Ved å redusere presisjonsvekt og aktiveringer i et nevralt nettverk, kan mange av modellene levert av GPT4All kjøres på de fleste relativt moderne datamaskiner.

Treningsdataene som ble brukt i noen av de tilgjengelige modellene ble samlet inn gjennom "haugen", som bare er skrapet data fra offentlig utgitt innhold på internett. Dataene sendes deretter til Nomic AIs Atlas AI-database, som kan sees basert på korrelasjoner på et lett-å-se 2D vektorkart (også kjent som en AI-vektordatabase).

Ved å trene opp Groovy-modellen og bruke offentlig tilgjengelige data, kunne Nomic AI gi ut modellen på en åpen GPL-lisens som lar hvem som helst bruke den, selv for kommersielle applikasjoner.

Hvordan installere GPT4All

Det er enkelt å installere GPT4All, og nå som GPT4All versjon 2 er utgitt, er det enda enklere! Den beste måten å installere GPT4All 2 på er å laste ned ett-klikks installasjonsprogrammet:

Nedlasting:GPT4All for Windows, macOS eller Linux (gratis)

Følgende instruksjoner er for Windows, men du kan installere GPT4All på hvert hovedoperativsystem.

Når du har lastet ned, dobbeltklikker du på installasjonsprogrammet og velger Installere. Windows Defender kan se på installasjonen som skadelig fordi prosessen for Microsoft å gi gyldige signaturer for tredjepartsapplikasjoner kan ta lang tid. Dette bør imidlertid fikses snart. I skrivende stund, så lenge du lastet ned GPT4All-applikasjonen fra den offisielle nettsiden, bør du være trygg. Klikk på Installer uansett for å installere GPT4All.

Når du åpner applikasjonen, må du velge en modell du vil bruke. GPT4ALL gir deg flere modeller, som alle vil ha sine styrker og svakheter. For å vite hvilken modell du skal laste ned, her er en tabell som viser deres styrker og svakheter.

Husk at modellene som tilbys har ulike nivåer av restriksjoner. Ikke alle modeller kan brukes kommersielt gratis; noen vil trenge mer maskinvareressurser, mens andre trenger en API-nøkkel. De minst restriktive modellene som er tilgjengelige i GPT4All er Groovy, GPT4All Falcon og Orca.

Kan du trene GPT4All-modeller?

Ja, men ikke de kvantiserte versjonene. For å effektivt finjustere GPT4All-modeller, må du laste ned råmodellene og bruke GPU-er av bedriftskvalitet som f.eks. AMDs instinktakseleratorer eller NVIDIAs Ampere eller Hopper GPUer. I tillegg må du trene modellen gjennom et AI-treningsrammeverk som LangChain, som vil kreve litt teknisk kunnskap.

Finjustering av en GPT4All-modell vil kreve noen pengeressurser i tillegg til litt teknisk kunnskap, men hvis du bare vil mate en GPT4All-modell tilpasset data, kan du fortsett å trene modellen gjennom utvidet gjenfinning (som hjelper en språkmodell med å få tilgang til og forstå informasjon utenfor grunnopplæringen for å fullføre oppgaver). Du kan gjøre det ved å be GPT4All om å modellere dine tilpassede data før du stiller et spørsmål. Egendefinerte data bør lagres lokalt, og når du blir bedt om det, skal modellen kunne gi deg informasjonen du en gang ga.

Bør du bruke GTP4All?

Ideen til GPT4All er å tilby en gratis-å-bruke og åpen kildekode-plattform der folk kan kjøre store språkmodeller på datamaskinene sine. Foreløpig er GPT4All og dets kvantiserte modeller flotte for å eksperimentere, lære og prøve ut forskjellige LLM-er i et sikkert miljø. For profesjonelle arbeidsmengder vil vi likevel anbefale å bruke ChatGPT da modellen er betydelig mer kapabel.

Totalt sett er det ingen grunn til at du bør begrense deg til en. Siden deres brukstilfelle ikke overlapper, bør du prøve å bruke begge.