Llama, Mistral en open-source AI

Open source slaat terug

Terwijl OpenAI, Anthropic en Google met gesloten frontiermodellen concurreerden, was 2023 ook het jaar dat open-source AI zijn eigen weg vond. Meta bracht Llama uit in februari 2023 — een familie taalmodellen van 7 tot 65 miljard parameters, aanvankelijk bedoeld voor onderzoekers. De gewichten lekten binnen dagen uit en verspreidden zich snel over het internet. De open-source AI-gemeenschap had zijn eerste competitieve basismodel.

Llama 2 en Meta's strategie

In juli 2023 bracht Meta Llama 2 officieel uit als open source, met commercieel gebruik toegestaan. Dit was een strategische beslissing: Meta had geen direct commercieel belang bij het verkopen van AI-diensten, maar wel een sterk belang bij een gezond open-source AI-ecosysteem dat lock-in naar concurrenten's proprietary modellen voorkwam. Llama 2 was op veel benchmarks concurrerend met GPT-3.5 en werd het meest gebruikte open-source LLM.

Mistral: klein maar krachtig

In september 2023 bracht Mistral AI — een Parijs-gebaseerde startup opgericht door voormalige DeepMind- en Meta-onderzoekers — Mistral 7B uit. Ondanks slechts 7 miljard parameters overtrof het Llama 2 13B op de meeste benchmarks, wat aantoonde dat architectuurverbeteringen en efficiënte training modelomvang konden compenseren. Mistral's open-release-aanpak en Europese wortels maakten het tot een symbool van de mogelijkheid van competitieve AI buiten de Amerikaanse techgiganten.

Bronnen

• Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
• Wikipedia — Llama
• Wikipedia — Mistral AI