Op 18 juli 2023 verraste Meta de wereld met de aankondiging van de volgende versie van hun taalleermodel: Llama 2. Deze release, tot stand gekomen in samenwerking met Microsoft, volgde kort na de release van zijn voorganger, Llama, in februari van hetzelfde jaar.
Maar wat misschien wel het meest verrassend was aan de release van Llama 2, was het prijskaartje, of beter gezegd, het ontbreken ervan. Ja, het taalleermodel is gratis te downloaden en te gebruiken onder een communitylicentie, zowel voor onderzoeks- als commerciële doeleinden. Dit heeft enorme gevolgen, zowel voor Meta als voor de AI-industrie als geheel. Maar wat maakt Llama 2 zo bijzonder, en wat betekent de gratis release voor de industrie en voor jou? Dit artikel gaat daar precies over.
De Lama die er was
Meta bracht op 24 februari 2023 het eerste grote taalmodel Meta AI (of kortweg Llama) uit. Net als andere fundamentele generatieve AI-modellen was het bedreven in redeneren, informatie opzoeken en coderen.
Het was niet zo groot of uitgebreid als concurrenten zoals ChatGPT of PaLM, en bood gebruikers en ontwikkelaars tussen de 7 en 65 miljard parameters. Dit klinkt misschien als veel, maar neem de 175B van ChatGPT of de 540B van PaLM in overweging en het verschil wordt snel duidelijk. Deze kleinere omvang was echter ook het voordeel van Llama in de wereld van generatieve AI. Minder parameters betekende meer flexibiliteit op verschillende systemen of apparaten. Onderzoekers die niet beschikten over de enorme infrastructuur van bedrijven zoals OpenAI konden toch gebruikmaken van geavanceerde AI-functies. Deze flexibiliteit hielp Llama een zeer belangrijke niche in het AI-landschap te vullen. De eerste Llama werd uitgebracht als een product voor commercieel gebruik en vereiste een licentie en toestemming van Meta om te gebruiken. Desondanks lekte het model uit en pasten veel ontwikkelaars en gebruikers het snel aan voor diverse doeleinden en op allerlei apparaten. Het is discutabel, maar misschien was deze snelle acceptatie van Metaʼs fundamentele taalmodel een van de factoren die hebben bijgedragen aan de beslissing over hoe de volgende versie uitgebracht zou worden. Op het eerste gezicht lijkt Llama 2 niet veel meer te bieden dan zijn voorganger. Het parameterbereik is weliswaar verhoogd tot 70 miljard, maar dit is nog steeds ver verwijderd van de concurrentie. Kijk echter eens onder de motorkap en het verschil wordt snel duidelijk. Llama 2 presteert nog beter in zijn verschillende rollen dankzij de uitgebreidere training. Meta meldt dat deze versie is getraind op twee biljoen tokens, een algehele toename van 40% in data ten opzichte van de originele Llama. Wat deze data zo bijzonder maakt, is de herkomst ervan. Llama 2 is uitsluitend getraind op openbaar beschikbare online data. Dit ondermijnt effectief de lastige kwestie van intellectueel eigendom en auteursrechtenschendingen die AI sinds de introductie in de mainstream hebben geplaagd. Het model heeft geen gegevens verzameld en gebruikers kunnen dat met een gerust hart doen. Net als zijn voorganger blinkt het uit in prompts met één of meerdere beurten, maar blijft het achter bij de concurrentie op gebieden zoals programmeren. Qua rekenkracht functioneert het op hetzelfde niveau als ChatGPT 3.5. Het maakt gebruik van upsampling om de gegenereerde informatie te controleren aan de hand van feitelijke bronnen, om zo hallucinaties te verminderen, een ander belangrijk probleem bij AI. Bovendien maakt het gebruik van reinforcement learning met menselijke feedback (RLHF) om zijn gedrag en reacties verder te verfijnen. Dit stelt gebruikers en ontwikkelaars in staat om het model nog verder te trainen voor elk gewenst doel.
Hoe profiteert Meta hiervan?
Een bedrijf geeft niet zomaar 20 miljoen dollar uit aan een fundamenteel model voor taalonderwijs om het vervolgens gratis aan het publiek beschikbaar te stellen. Althans, dat zouden velen van ons denken. Metaʼs vrijgevigheid door de code en licentie van Llama 2 gratis beschikbaar te stellen voor iedereen, moet het bedrijf immers op de een of andere manier voordeel opleveren. Hoewel ze geen officiële verklaring over de kwestie hebben afgegeven, zijn hier een aantal factoren die hun beslissing zouden kunnen hebben beïnvloed. Zoals eerder vermeld, leidde het eerste lek naar het publiek (ondanks dat Llama op dat moment alleen commercieel verkrijgbaar was) tot wijdverspreide acceptatie en experimenten door diverse gebruikers, die het nieuwe model graag wilden uitproberen. Gebruikers konden het model op verschillende apparaten en voor verschillende doeleinden gebruiken. Door het ontwikkelingsproces te decentraliseren, van een intern team naar gebruikers wereldwijd, ontstaan innovaties en oplossingen voor unieke problemen waar de oorspronkelijke ontwerpers nooit aan zouden hebben gedacht. Bovendien leidt het tot een snellere ontwikkeling en evolutie dan één team zou kunnen bereiken. Door Llama 2 in handen van de community te leggen, heeft Meta stappen ondernomen om het AI-landschap te democratiseren. Standaardisatie Llama 2 is een fundamenteel taalmodel en is bedoeld om te worden getraind, aangepast en verder ontwikkeld in diverse scenarioʼs. Hoeveel het ook verandert, het zal altijd vanuit dezelfde basis zijn begonnen. Door Llama 2 gratis aan te bieden, hoopt Meta wellicht dat meer gebruikers deze technologie voor hun eigen doeleinden zullen gebruiken, waardoor een gestandaardiseerd formaat voor AI-tools ontstaat waar de hele industrie uiteindelijk van kan profiteren. Het is immers makkelijker om te ontwikkelen met een basislijn in gedachten. Bovendien kan het bedrijf dat deze standaard levert, zoals Microsoft deed met Windows, een sterkere positie in de branche verwerven, omdat het het meest vertrouwd is met de basislijn. Het gratis weggeven van tools is een trefzekere manier om goodwill te winnen, en Meta heeft veel te winnen bij het verspreiden van een taalmodel dat is getraind op openbaar beschikbare data, vooral gezien hun verleden met dubieuze praktijken op het gebied van gegevensverwerking. Door Llama 2 te distribueren, zorgt Meta er niet alleen voor dat haar merkimago en aanwezigheid in de branche sterk blijven, maar leidt het ook een toekomstige generatie AI-specialisten op met haar eigen tools. Dit maakt toekomstige werving en expertise een fluitje van een cent voor de techgigant. Wat betekent Llama 2 voor jou? Je kunt een ontwikkelaar zijn die op zoek is naar een AI-tool die geen supercomputer nodig heeft, of een gebruiker die een chatbot wil met een geheugen dat langer is dan dat van een goudvis. Hoe dan ook, de release van Llama 2 heeft een aantal spannende en baanbrekende gevolgen voor zowel de gebruikers als Meta.
Gratis
Het grootste voordeel van Llama 2 is zonder twijfel dat er geen prijskaartje aan hangt. Meta heeft de tool gratis beschikbaar gesteld voor iedereen onder een communitylicentie. Alleen sites met meer dan 700 miljoen maandelijkse bezoekers moeten rechtstreeks contact opnemen met Meta om een licentie te verkrijgen, waarschijnlijk om misbruik van de tool door concurrenten te voorkomen.
Dit heeft enorme gevolgen voor de branche. Het schept niet alleen een belangrijk precedent en democratiseert de toegang, maar het maakt ook bedrijfsmiddelen vrij om zich op andere gebieden te richten. Gebruikers kunnen zich bijvoorbeeld veroorloven meer te besteden aan krachtigere machines om het gereedschap te bedienen, in plaats van aan het gereedschap zelf.
Veelzijdigheid
Llama 2 zet het belangrijke werk van zijn voorgangers voort door een middenweg te bieden voor ontwikkelaars, met een krachtig taalmodel zonder de infrastructuur van concurrenten nodig te hebben. Hierdoor kan Meta ontwikkelaars tegemoetkomen en kunnen ontwikkelaars op hun beurt met minder beperkingen ontwerpen.
Veiligheid
Llama 2 is een robuuste, betrouwbare basis om mee te werken. Problemen die AI vaak teisteren, zoals toxiciteit en inherente vooringenomenheid, zijn uitgebreid getest en verholpen. Het RLHF-testproces was cruciaal voor het verwijderen van schadelijke activiteiten, ondeskundig advies en illegale suggesties. De trainingsachtergrond van het taalmodel op basis van openbaar beschikbare gegevens betekent ook dat gebruikers niet medeplichtig zijn aan ethisch dubieuze methoden voor gegevensverzameling. Het is open. Er is veel bezorgdheid geweest rondom AI en de verwerking van ingevoerde gegevens door derden. Hoewel Meta de software en de communitylicentie voor Llama 2 distribueert, heeft het de tool gedecentraliseerd. Dit betekent dat Llama2, in tegenstelling tot sites zoals OpenAI, vrij is van inmenging of gegevensverwerking door derden. De gegevens die u invoert of waarmee u het model traint, blijven van u. AI is vaak geparodieerd vanwege de stijve en repetitieve klank, iets wat ontwikkelaars in recentere versies proberen te overwinnen. Een meer informele en conversatiegerichte AI is herkenbaarder en wekt minder ongemak op. Meta heeft bij Llama 2 meer nadruk gelegd op dialoog, van de mogelijkheid om prompts met één of meerdere beurten te geven tot de meer ontspannen toon. Dit maakt het ideaal voor het bouwen en trainen van chatbots, iets wat de meeste gebruikers associëren met AI. Hoewel Llama 2 nog relatief nieuw is, wordt het al veelvuldig gebruikt in de branche. Er worden tal van toolkits ontwikkeld en bijbehorende bibliotheken, zoals de Llama 2-Accessory. De gemakkelijke toegang tot dergelijke toolkits versnelt de ontwikkeling en software-evolutie in het algemeen aanzienlijk. Metaʼs Llama Recipes maken ontwikkeling en benchmarking een fluitje van een cent met kant-en-klare scripts voor diverse hardwareconfiguraties en apparaten. Naast deze ontwikkeltools groeit het Llama 2-ecosysteem snel. Chatbotdiensten zoals Perplexity Labs gebruiken Llama 2 bijvoorbeeld al als onderdeel van hun basis. Meer acceptatie betekent meer middelen voor ontwikkelaars en een gezondere community om op voort te bouwen.
Taalmodellen voor de toekomst
Llama 2 is misschien niet het krachtigste taalmodel dat er is, maar de gratis release, veelzijdigheid en snelle acceptatie betekenen dat de impact ervan op het AI-landschap nog jarenlang voelbaar zal zijn. Het legt de ontwikkelingskracht weer volledig in handen van ontwikkelaars en geeft hen de mogelijkheid om modellen en tools te creëren die Meta zich nooit had kunnen voorstellen.
Vergis je niet. Llama 2 is een belangrijke eerste stap naar een nieuw AI-landschap.
