Llama 3（README）
输入“/”快速插入内容
Llama 3（README）
Llama 3（README）
模型介绍
Llama 3 是由 Meta AI 团队开发的大型语言模型（LLM）系列，作为 Llama 2 的继任者，于 2024 年 4 月正式发布。该系列旨在推动自然语言处理研究的边界，提供高效、开源的解决方案，适用于学术研究和部分商业场景。Llama 3 在模型架构、训练数据和后处理技术上进行了显著优化，相较于前代版本在性能、可扩展性和多语言支持上均有提升。与前代相比：
特性 | Llama 3 | Llama 2 |
参数规模 | 8B, 70B, 405B | 7B, 13B, 70B |
训练数据 | 15 万亿 token | 2 万亿 token |
上下文长度 | 8K（可扩展至 128K） | 4K |
注意力机制 | GQA | MHA |
MMLU 得分 | 88.6 (405B) | 68.9 (70B) |
开源许可 | 是（社区许可） | 是（部分限制） |
•
Llama 3 在训练数据规模、上下文长度和性能上全面超越 Llama 2，同时通过 GQA 等技术提升了推理效率。
•
参数规模：提供 8B、70B 和 405B 三种主要变体。
◦
Llama 3 8B：轻量级模型，适用于资源受限环境。
◦
Llama 3 70B：中型模型，均衡性能与计算成本。
◦
Llama 3 405B：旗舰模型，针对高性能任务设计。
Llama 3 延续了 Meta AI 的开源传统，8B 和 70B 模型采用开放许可（Llama 3 Community License），允许研究和非商业使用。405B 模型虽未完全开源，但提供预训练检查点供学术研究使用。
Llama 3 是 Meta AI 在开源 LLM 领域的重要里程碑，通过大规模预训练数据、高效架构设计和后训练优化，Llama 3 在通用语言任务、代码生成和多语言支持上表现出色。开发者可根据任务需求选择适合的模型版本，并利用丰富的开源工具进行部署和微调。
📌
关键引用：
•
官方仓库：Meta AI GitHub
•
模型权重：Hugging Face（搜索 “meta-llama/Llama-3”）
•
技术报告：Meta AI 官网 Llama 3 论文
快速阅览
我们团队在文档不同的位置进行了详细的介绍，您可以点击进入并查看具体的技术文档。
☑️ 实际评测
☑️ 部署调用
☑️ 进阶之路
1、模型微调
2、架构全解（原理）
❤️ 赋范社区交流群
海量硬核独家技术干货内容+无门槛技术交流~