Transformers documentation
Falcon3
该模型于 2024-12-17 贡献至 Hugging Face Transformers。
Falcon3
概述
Falcon3 是前代版本的自然演进，重点在于扩展模型在科学、数学和代码方面的能力。本次迭代包含五个基础模型：Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base 和 Falcon3-10B-Base。在开发这些模型的过程中，我们引入了多项关键创新，旨在提升模型性能的同时降低训练成本：
单次预训练：我们在 7B 模型上执行了一次大规模预训练，使用了 2048 块 H100 GPU 芯片，并利用了 14 万亿个 token，这些数据涵盖网页、代码、STEM 以及经过精心筛选的高质量多语言数据。 通过加深模型来提升推理能力：基于近期关于模型深度影响的研究，我们通过复制冗余层并将 7B 模型扩展为 10B 参数模型，随后使用 2 万亿（2TT）高质量数据继续预训练。由此得到的 Falcon3-10B-Base 在 13B 参数以下的模型中实现了最先进的零样本和少样本性能。 通过知识蒸馏打造更优的微型模型：为了提供紧凑且高效的替代方案，我们利用剪枝和知识蒸馏技术，使用少于 1000 亿（100GT）的精选高质量数据，开发了 Falcon3-1B-Base 和 Falcon3-3B-Base，从而重新定义了预训练效率。