LLaMA3 核心技术点解读

伴随着llama3 发布，搬运工仔细阅读llama3 官方博客，将LLaMA3 取得SOTA 性能关键，总结为如下脑图：

LLaMA3 核心技术点

总的来讲 LLaMA3 在架构上并没有改进，相反在预训练数据缩放与性能的缩放规律上，训练数据处理上，训练数据配比上做了较多尝试，模型对齐方式上做了较多的探索；meta LLaMA3 给做大模型从业人员一个思路：模型架构上的突破变得极为困难，而数据处理；训练数据扩充，以及模型对齐上，存在较多的挖掘空间；在这几个方面，办法可能比困难多。