Metaは2025年4月5日、同社が開発するオープンソースAIモデルLlamaの最新バージョン
Threadsで見る
Llama 4シリーズは、MoE
- Llama 4 Scout
- 170億のアクティブパラメータと16のExpert
(専門家モデル) をもつ小型モデル。10Mのコンテキストウィンドウを提供しながら単一の NVIDIA H100 GPUで動作し、さまざまなベンチマークでGemma 3、Gemini 2. 0 Flash-Lite、Mistral 3. 1よりも優れた結果を発揮するという。 - Llama 4 Maverick
- 170億のアクティブ パラメータと128のExpertをもち、マルチモーダルで動作する推論モデル。多くのベンチマークでGPT-4oとGemini 2.
0 Flashを上回り、推論とコーディングでは新しいDeepSeek v3と同等の結果を得たという。 - Llama 4 Behemoth
(近日中に公開) - 2880億のアクティブパラメータと16のExpertを擁するLlama 4のハイパフォーマンスモデル。現在トレーニングの途中でありながら、いくつかのSTEMベンチマークでGPT4.
5、Claude Sonnet 3. 7、Gemini 2. 0 Proを上回る結果を出しているとのこと。
Llama 4 Scout、Llama 4 Maverickはllama.