Meta 发布 Llama 4 大模型：混合专家架构引领 AI 新时代
《Meta 发布 Llama 4 大模型：混合专家架构引领 AI 新时代》相关软件官网
Meta 公司推出了其最新的开源人工智能模型 Llama4，标志着其在人工智能领域的又一重大进展。Llama4分为两个版本，分别命名为 Scout 和 Maverick，旨在提升 AI 模型的功能与表现。Meta 表示，Llama4是一个多模态大模型，能够处理文本、图像、视频和音频等多种数据类型，并能在这些格式之间自由转换。
值得一提的是，Llama4系列首次采用了 “混合专家”（MoE）架构，这一新颖设计极大地提高了模型的训练和响应效率。通过将模型划分为多个专注于特定任务的 “专家” 子模型，Llama4在处理复杂查询时能够表现得更加迅速且精准。
根据 Meta 的介绍，Scout 和 Maverick 是目前公司最先进的模型。Scout 的活跃参数数量为170亿，配备16个 “专家” 模型，总参数高达1090亿，而 Maverick 同样拥有170亿个活跃参数，但其 “专家” 模型数量增至128个，总参数量则达到了惊人的4000亿。此外，Meta 还在研发一款名为 Behemoth 的更强大模型，声称其是 “新模型中的教师”，预示着未来更多的创新。
这些模型经过大量未标注的数据训练，展现出卓越的视觉理解能力。现在，Scout 和 Maverick 可在 Llama.com 以及 Meta 的合作伙伴平台上公开获取，并已在 WhatsApp、Messenger 和 Instagram Direct 等社交平台上推广使用。
Meta 的首席执行官扎克伯格在发布会上表示:“我们的目标是建立世界领先的人工智能，并将其开源，让更多的人受益。” 他强调，Llama4的推出标志着开源人工智能的崛起，将改变行业的格局。
Meta 计划在未来一年中投入高达650亿美元来扩展其人工智能基础设施，尽管投资者对大型科技公司的实际回报仍然持谨慎态度。这一系列的动作无疑将使 Meta 在 AI 领域更具竞争力，并推动整个行业的技术革新。
Meta 发布 Llama 4 大模型：混合专家架构引领 AI 新时代-项目/模型网址:
Meta 发布 Llama 4 大模型：混合专家架构引领 AI 新时代
2025 年 4 月 5 日，Meta 正式发布了新一代开源大语言模型 Llama 4，标志着其在 AI 领域的重大突破。Llama 4 系列包括三个版本：Llama 4 Scout、Llama 4 Maverick 和 Llama 4 Behemoth。这些模型均采用了混合专家（MoE）架构，显著提升了训练和推理效率。
混合专家架构：Llama 4 系列是 Meta 首批采用 MoE 架构的模型。这种架构通过将数据处理任务分解为子任务，并委派给更小的、专门的“专家”模型，从而提升了整体的运算效率。例如，Llama 4 Maverick 模型总共有 4000 亿个参数，但在 128 个“专家”模型中只有 170 亿个活跃参数。
原生多模态能力：Llama 4 支持图文联合输入，可用于图像问答、表格分析等复杂任务。
超长上下文处理：Llama 4 Scout 支持 1000 万 tokens 的超长上下文窗口，远超 GPT-4 Turbo（128K），适用于多文档摘要、解析大量用户活动以执行个性化任务以及对庞大的代码库进行推理。
强大的对话与推理能力：Llama 4 Maverick 在 LMArena 排行榜得分 1417，超过 Claude 3 Sonnet，在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现优异。
高效 MoE 架构：采用混合专家机制，推理更快、部署成本更低。
免费开源可商用：权重与推理代码全面开放，可在 Hugging Face 等平台下载部署。
各版本特点
Llama 4 Scout
参数：170 亿活跃参数、16 个“专家”模型、总计 1090 亿个参数。
优势：超长上下文处理能力，适用于文档摘要和大型代码库推理。
硬件需求：可在单个英伟达 H100 GPU 上运行。
发表评论