Mens OpenAI leder an for generativ AI-utvikling, har mange anklaget Google for å henge etter. Men for ikke å overgå, lanserte Google en ny stor språkmodell, PaLM 2, på sin Google I/O-konferanse i 2023.
Googles nye LLM kommer til å komme i fire forskjellige størrelser for en rekke applikasjoner, og Googles nye LLM driver tilsynelatende allerede flere Google-tjenester, med mye mer på vei.
Hva er PaLM 2?
På Google I/O 2023, avholdt 10. mai, avslørte Google-sjef Sunda Pichai Googles siste leketøy: PALM 2.
Kort for Pathways Language Model 2, Googles oppgraderte LLM er den andre iterasjonen av PaLM, med den første versjonen lansert tilbake i april 2022. Husker du ikke PaLM? Vel, på den tiden var det store nyheter og fikk massevis av interesse for sin evne til å snakke litt, fortelle grunnleggende vitser og så videre. Spol frem seks måneder, og OpenAIs GPT-3.5 blåste alt opp av vannet, inkludert PaLM.
Siden da, OpenAI lanserte GPT-4, en massiv oppgradering på GPT-3.5. Mens den nyere modellen blir integrert i en rekke verktøy, spesielt Microsofts Bing AI Chat, tar Google sikte på OpenAI og GPT-4 med PaLM 2 og vil håpe den oppgraderte LLM kan lukke det som så ut til å være et betydelig gap – lanseringen av Google Bard var neppe noe brølende suksess.
Pichai kunngjorde at PaLM 2 kommer i fire forskjellige modellstørrelser: Gecko, Otter, Bison og Unicorn.
Gecko er så lett at den kan fungere på mobile enheter og er rask nok for flotte interaktive applikasjoner på enheten, selv når den er offline. Denne allsidigheten betyr at PaLM 2 kan finjusteres for å støtte hele produktklasser på flere måter, for å hjelpe flere mennesker.
Med Gecko i stand til å behandle rundt 20 tokens per sekund – tokens er verdiene som er tilordnet ekte ord for bruk av generative AI-modeller – ser det ut til å bli en game-changer for mobile distribuerbare AI-verktøy.
PaLM 2 Treningsdata
Google kom ikke akkurat med PaLM 2s treningsdata, forståelig gitt at de nettopp ble utgitt. Men Googles PaLM 2-rapport [PDF] sa at den ønsket at PaLM 2 skulle ha en dypere forståelse av matematikk, logikk og naturvitenskap, og at en stor del av opplæringskorpuset fokuserte på disse emnene.
Likevel er det verdt å merke seg at PaLM ikke var noe sløv. Når Google avslørte PaLM, bekreftet den at den ble trent på 540 milliarder parametere, som på den tiden var et kolossalt tall.
Det påstås at OpenAIs GPT-4 bruker over én trillion parametere, med noen spekulasjoner som setter dette tallet så høyt som 1,7 billioner. Det er sikkert at siden Google vil at PaLM 2 skal konkurrere direkte med OpenAIs LLM-er, vil den i det minste ha et sammenlignbart tall, om ikke mer.
Et annet betydelig løft for PaLM 2 er språkopplæringsdataene. Google har trent PaLM 2 på over 100 språk for å gi den større dybde og kontekstuell forståelse og øke oversettelsesmulighetene.
Men det er ikke bare talespråk. LLM har knyttet til Googles krav om at PaLM 2 skal levere bedre vitenskapelig og matematisk resonnement. også blitt opplært i mer enn 20 programmeringsspråk, noe som gjør det til en fenomenal ressurs for programmerere.
PaLM 2 driver allerede Google-tjenester – men krever fortsatt finjustering
Det tar ikke lang tid før vi kan få tak i PaLM 2 og se hva den kan gjøre. Med litt flaks vil lanseringen av alle PaLM 2-applikasjoner og tjenester være bedre enn Bard.
Men du har kanskje (teknisk!) brukt PaLM 2 allerede. Google bekreftet at PaLM 2 allerede er distribuert og i bruk på tvers av 25 av produktene, inkludert Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets og mer.
Men PaLM 2-rapporten avslører også at det fortsatt er arbeid å gjøre, spesielt mot giftige reaksjoner på tvers av en rekke språk.
For eksempel, når spesifikt gis toksiske spørsmål, genererer PaLM 2 toksiske responser mer enn 30 prosent av tiden. Videre, på spesifikke språk – engelsk, tysk og portugisisk – ga PaLM 2 mer giftige svar enn 17 prosent av tiden, med spørsmål inkludert raseidentiteter og religioner som presser dette tallet høyere.
Uansett hvor mye forskere forsøker å rense LLM-treningsdata, er det uunngåelig at noen slipper gjennom. Den neste fasen er å fortsette å trene PaLM 2 for å redusere disse giftige responsene.
Det er en boomperiode for store språkmodeller
OpenAI var ikke den første som lanserte en stor språkmodell, men GPT-3-, GPT-3.5- og GPT-4-modellene tente utvilsomt det blå berøringspapiret på generativ AI.
Googles PaLM 2 har noen problemer å stryke, men at den allerede er i bruk i flere Google-tjenester viser tilliten selskapet har til sin siste LLM.